网络爬虫之规则

一.Requests库的get()方法

1.1requests库的安装

首先,调出command控制台,输入cmd进入,输入pip install requests下载requests库

1.2 测试requests库的效果

import requests
r = requests.get("http://www.baidu.com")
r.status_code
#200表示访问成功
r.encoding = 'utf-8'
r.text

运行结果(成功):
在这里插入图片描述

1.3 requests库的7个主要方法

requests.request()构造一个请求,支撑以下各方法的基础方法
requests.get()获取HTML网页的主要方法,对于HTTP的GET
requests.head()获取HTML网页头信息的方法,对于HTTP的HEAD
requests.post()向HTML网页提交POST请求的方法,对应于HTTP的POST
requests.put()向HTML网页提交PUT请求的方法,对应于HTTP的PUT
requests.patch()向HTML网页提交局部修改请求,对应于HTTP的PATCH
requests.delete()向HTML网页提交删除请求,对应于HTTP的DELETE

1.4 requests中的get方法

#获取一个网页最简单的一行代码是:
r = requests.get(url)
#这里给定get方法和url来构造一个向服务器请求资源的Requests对象(该对象是由Requests内部生成的)
#返回一个包含服务器资源的Response对象(包含从服务器返回的所有资源)(Response对象的属性下面讲解)

#完整使用方法
requests.get(url,params=None,**kwargs)
url:拟获取页面的url链接
params:url中的额外参数,字典或字节流格式,可选
**kwargs:12个控制访问的参数

1.5 Response对象的属性(牢记)

属性说明
r.status_codeHTTP请求的返回状态,200表示连接成功,404表示失败
r.textHTTP响应内容的字符串形式,即url对应的页面内容
r.encodingHTTP header中猜测的响应内容编码方式
r.apparent_encoding内容中分析出的响应内容编码方式(备选编码方式)
r.contentHTTP响应内容的二进制形式

在这里插入图片描述

1.6 理解Response的编码

属性说明
r.encodingHTTP header中猜测的响应内容编码方式
r.apparent_encoding内容中分析出的响应内容编码方式(备选编码方式)

r.encoding:如果header中不存在charset,则认为编码为ISO-8859-1

1.7 对以上知识的讲解运用

此处用的是python自带的IDLE

import requests
r = requests.get("http://www.baidu.com");
r.status_code
-->200(返回值)
r.text
-->(返回值)
...一堆英文
r.encoding
-->'ISO-8859-1'
r.apparent_encoding
'utf-8'
r.encoding = 'utf-8'#更改编码
r.text
-->此时返回值中出现中文!!!

二.爬取网页的通用代码框架

2.1 理解Requests库的异常

异常说明
requests.ConnectionError网络连接错误异常,如DNS查询失败、拒绝连接等
requests.HTTPErrorHTTP错误异常
requests.URLRequiredURL缺失异常
requests.TooManyRedirects超过最大重定向次数,产生重定向异常
requests.connectTimeout连接远程服务器超时异常
requests.Timeout请求URL超时,产生超时异常
异常说明
r.raise_for_status()如果不是200,产生异常requests.HTTPError

r.raise_for_status()在方法内部判断r.status_code是否等于200,不需要增加额外的if语句,该语句便于利用try-except进行异常处理。

2.2 爬取网页的通用代码框架

try…excpt的使用:
python会捕获到try中的异常,并且当try中某一行出现异常后,
后面的代码将不会再被执行;而是直接调用except中的代码

if __name__ =='__main__'的意思是:
当.py文件被直接运行的时候,if __name__ =='__main__':下方的代码将被执行;
当.py文件以模块形式被导入时,if __name__ =='__main__'下代码不被执行
import requests
def getHTMTLText (url) :
try:
	r = requests.get(ur1, timeout=30)
	r.raise_for_status()#如果状态不是200,引发HTTPError异常
	r.encoding = r.apparent_encoding
	return r.text
except:
	return "产生异常"
	
if  _name_ == "_main_" :
	url = "http://www.baidu.com"
	print(getHTMLText (url))

运行结果与试验结果
在这里插入图片描述

三.HTTP协议及Requests库方法

3.1 HTTP协议

HTTP , Hypertext Transfer Protocol,超文本传输协议
HTTP是一个基于“请求与响应”模式的、无状态的应用层协议

HTTP协议采用URL作为定位网络资源的标识,URL格式如下∶
http: / /host[ : port][path]
host:合法的Internet主机域名或IP地址
port:端口号,缺省端口为80
path:请求资源的路径

HTTP URL的理解︰
URL是通过HTTP协议存取资源的Internet路径,一个URL对应一个数据资源

3.2 HTTP协议对资源的操作

方法说明
GET请求获取URL位置的资源
HEAD请求获取URL位置资源的响应消息报告,即获得该资源的头部信息
POST请求向URL位置的资源后附加新的数据
PUT请求向URL位置存储一个资源,覆盖原URL位置的资源
PATCH请求局部更新URL位置的资源,即改变该处资源的部分内容
DELETE请求删除URL位置存储的资源

在这里插入图片描述
理解PATCH和PUT的区别:
假设URL位置有一组数据UserInfo,包括UserID、UserName等2e个字段
需求︰用户修改了UserName,其他不变

  • 采用PATCH,仅向URL提交UserName的局部更新请求
  • 采用PUT,必须将所有20个字段一并提交到uRL,未提交字段被删除

PATCH的最主要好处:节省网络带宽

3.3 HTTP协议与Requests库

HTTP协议方法Requests库方法功能一致性
GETrequests.get()一致
HEADrequests.head()一致
POSTrequests.post()一致
PUTrequests.put()一致
PATCHrequests.patch()一致
DELETErequests.delete()一致

3.3.1 Requests库的head()方法

>>> r = requests.head( " http: / / httpbin.org/get ')
>>> r.headers
{ ' content-Length ' : '238', 'Access-Control-Allow-Origin ' : '*','Access-control-Allow-credentials ' : 'true ', 'content-Type ' :'application/json ', 'server': 'nginx ', 'Connection ' : 'keep-alive ','Date ' : 'Sat, 18 Feb 2017 12:07:44GMT '}
>>> r.text

3.3.2 Requests库的post()方法

>>> payload = { 'key1 ' : 'value1 ', 'key2 ' : 'value2 '}
>>> r = requests.post( ' http: / /httpbin.org/post ' , data = payload)
>>> print(r.text)
"form" : {						向URL POST一个字典
"key2" : "value2" ,		自动编码为form(表单)
"key1 " : "value1"
	},
}

3.3.3 Requests库的put()方法

>>> payload = { 'key1 ' : 'value1', "key2 ' : 'value2 '}
>>> r = requests.put( ' http: / /httpbin.org/put ', data = payload)
>>> print(r.text)
{...
	"form ": {
		"key2" : “value2",
		"key1 " : "value1"
		},
}

四.Requests库主要方法解析

4.1 requests库的7个主要方法

requests.request()构造一个请求,支撑以下各方法的基础方法
requests.get()获取HTML网页的主要方法,对于HTTP的GET
requests.head()获取HTML网页头信息的方法,对于HTTP的HEAD
requests.post()向HTML网页提交POST请求的方法,对应于HTTP的POST
requests.put()向HTML网页提交PUT请求的方法,对应于HTTP的PUT
requests.patch()向HTML网页提交局部修改请求,对应于HTTP的PATCH
requests.delete()向HTML网页提交删除请求,对应于HTTP的DELETE
requests.request (method, url,**kwargs)
method:请求方式,对应get/put/post等7种
url:拟获取页面的url链接
**kwargs:控制访问的参数,共131.params:字典或字节序列,作为参数增加到url中
>>> kv = { ' key1 ' : 'value1 ', 'key2 ' : 'value2'}
>>> r = requests.request( 'GET', 'http:/ / python123.io/ws ', params=kv)
>>> print(r.url)
http://python123.io/ws?key1=value1&key2=value2#再url后面增加键值对

2.data:字典、字节序列或文件对象,作为Request的内容
>>> kv = { 'key1 ' : 'value1 ', 'key2 ' : 'value2 ' }
>>r = requests.request( ' POST','http:// python123.io/ws ', data=kv)
>>> body = '主体内容"
>>>r = requests.request( ' PoST', 'http://python123.io/ws ' , data=body)

3.json: JSON格式的数据,作为Request的内容
>>> kv = { ' key1' : 'value1'}
>>> r = requests.request( ' PoST', 'http:/ /python123.io/ws ', json=kv)

4.headers :字典,HTTP定制头
>>> hd = i 'user-agent': 'Chrome / 10 '}
>>>r = requests.request( ' PoST''http:/ / python123.io/ws ' , headers=hd)#用Chrome 10版本打开

5.cookies :字典或cookieJar , Request中的cookie
6.auth:元组,支持HTTP认证功能

7.files:字典类型,传输文件
>>> fs = { 'file' : open( 'data.xls ', 'rb ')}
>>>r = requests.request( 'POST', 'http://python123.io/ws ' , files=fs)

8.timeout :设定超时时间,秒为单位
>>> r = requests.request( 'GET','http: //www.baidu.com' , timeout=10)

9.proxies :字典类型,设定访问代理服务器,可以增加登录认证
>>>pxs = { ' http' : ' http: //user:pass@10.10.10.1:1234'
		   ' https ': 'https: / /10.10.10.1:4321' }
>>> r = requests.request( 'GET', 'http:/ /www.baidu.com ', proxies=pxs)

10.allow_redirects : True/False,默认为True,重定向开关
11.stream : True/False,默认为True,获取内容立即下载开关
12.verify : True/False,默认为True,认证sSL证书开关
13.cert :本地SSL证书路径

五.Robots协议

5.1 概要

作用:网站告知网站爬虫哪些可以抓取,哪些不行。
形式:在网站根目录下的robots.txt文件。
eg:京东的robots协议
https://www.jd.com/robots.txt
在这里插入图片描述

5.2 Robots遵守方式

网络爬虫:自动或人工识别robots.txt,再进行内容爬取
约束性:Robots协议是建议但非约束性,网络爬虫可以不遵守,但存在法律风险

五.实例

5.1 京东商品页面的爬取

import requests
ur1 = "https://item.jd.com/10033678062668.html"
try:
    r = requests.get(ur1)
    r.raise_for_status()//返回值200 不产生异常  非200 产生异常
    r.encoding = r.apparent_encoding
    print(r.texe[:1000])
except:
    print("爬取失败")

5.2 亚马逊商品页面的爬取

import requests
ur1 = "https://www.amazon.cn/dp/B00AA7KHPQ/ref=sr_1_6?crid=3HYPWFC7SA5K7&keywords=%E4%B9%A6&qid=1662801515&sprefix=%E4%B9%A6%2Caps%2C109&sr=8-6"
try:
    kv = {'user-agent':'Mozilla/5.0'}#模拟浏览器进入网站
    r = requests.get(ur1,headers=kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失败")

5.3 百度360搜索关键词提交

百度的关键词接口:
http: // www.baidu.com/ s?wd=keyword
360的关键词接口:
http: //www. so.com/s?q=keyword

#百度
import requests
keyword = "python"
try:
    kv = {'wd':keyword}
    r = requests.get("http://www.baidu.com/s",params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失败")
    
#360
import requests
keyword = "python"
try:
    kv = {'q':keyword}
    r = requests.get("http://www.so.com/s",params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失败")

5.4 网络图片的爬取和存储

网络图片链接的格式∶http: // www. example.com/picture.jpg
选择一个图片web页面:https://img9.51tietu.net/pic/2019-091317/dia2fh1uhj5dia2fh1uhj5.jpg

import requests
import os
url = "https://img9.51tietu.net/pic/2019-091317/dia2fh1uhj5dia2fh1uhj5.jpg"
root = "D://pics//"
path = root + url.split('/')[-1]
try:
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r = requests.get(url)
        with open(path,'wb') as f:
            f.write(r.content)#返回的内容写到文件中,r.content表示返回内容的二进制形式
            f.close()
            print("文件保存成功")
    else:
        print("文件已存在")
except:
    print("爬取失败")

5.5 IP地址归属地的自动查询

import requests
url = "https://www.ipshudi.com/"
try:
    r = requests.get(url+'xxxxxx.htm')
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[2000:3000])
except:
    print("爬取失败")
  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小强子!

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值