import requests
# ===通用代码框架
def get_html_text(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status() # 如果状态不是200,引发HTTP——error异常
r.encoding = r.apparent_encoding
return r.text
except:
return "产生异常"
'''
response对象的属性
属性 说明
r.status_code HTTP请求的返回状态,200表示连接成功,404表示失败
r.text HTTP响应内容的字符串形式,即,url对应的页面内容
r.encoding 从HTTP header中猜测的响应内容编码方式
r.apparent_encoding 从内容中分析出的响应内容编码方式(备选编码方式)
r.content HTTP响应内容的二进制形式
'''
'''
requests库的七个常用方法
方法 说明
requests.request() 构造一个请求,支撑以下各方法的基础方法 requests.get()获取HTML网页的主要方法,对应于HTTP的GET
requests.head() 获取HTML网页头信息的方法,对应于HTTP的HEAD
requests.post() 向HTML网页提交POST请求的方法,对应于HTTP的POST
requests.put() 向HTML网页提交PUT请求的方法,对应于HTTP的PUT
requests.patch() 向HTML网页提交局部修改请求,对应于HTTP的PATCH
requests.delete() 向HTML页面提交删除请求,对应于HTTP的DELETE
requests.get() 获取HTML网页的主要方法,对应于HTTP的GET
'''
# 测试一百次requests需要多长时间
n = 0
url = 'http://www.baidu.com'
while n < 100:
get_html_text(url)
print(get_html_text(url))
n += 1
'''
====网络爬虫的尺寸
网页 requests
网站 scrapy
全网 定制开发
====网络爬虫引发的问题
性能骚扰
法律风险
隐私泄露
====robots协议
Robots Exclusion Standard,网络爬虫排除标准
==作用:
网站告知网络爬虫哪些页面可以抓取,哪些不行
==形式:
在网站根目录下的robots.txt文件
# *代表所有,/代表根目录
User‐agent: *
Disallow: /
'''
requests 库 & robots 协议
最新推荐文章于 2022-03-11 16:55:05 发布