1.使用requests主要是以文本形式打印出网页信息
主要形式:
url = ’ ---------’
r=requests.get(url) #构造一个向服务器请求资源的Request对象,并返回一个包含服务器资源的Respend对象
2.r.status_code :HTTP请求的返回状态,200表示连接成功,404表示失败
r.text :HTTP响应内容的字符串形式,即URL对应的页面内容
r.enconding : 从HTTPheader中猜测的响应内容编码形式
r.apparent_encoding:从内容中分析出的响应内容编码形式
r.content : HTTP响应内容的二进制形式(主要用在图片、视频等)
r.raise_for_status:如果不是200,产生异常requests.HTTPError
3.爬取网页的通用框架:
try:
r=requests.get(url,timeout=30)#请求连接
r.raise_for_status#检查返回状态 ,
#情况1:如果是200,可以用r.text、r.encoding、r.apparent_encoding、r.content解析返回的内容; 情况2:返回的是404或者其他,则访问不成功
r.encoding=r.apparent_encoding#r.encoding:如果header中不存在charset,则认为编码为ISO-8859-1
#r.apparent_encoding:根据网页内容分析出的编码方式
#综上所述,r.apparent_encoding比r.encoding更为准确
return r.text
except:
return "产生异常"