2021-11-09网络爬虫

初学网络爬虫

requests库的应用

导入requests库

import requests

requests库下面的方法

1.requests.get()方法

r = requests.get(url,params=请求头,headers = header)#常用的方法

（来自官方文档）

示例

import requests
url = 'www.baidu.com'
pa = {'网络' : '爬虫'}
header = {'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3878.400 QQBrowser/10.8.4518.400'}
#pa可根据自己的需求进行更改，可以不加入pa，直接跳转到自己需要的网页
#header可更加自己的需求进行更改，可以不加入header，当被反爬时，可添加。也可以添加报文中的其他数值
#每一个浏览器的user-agent都是不同的，不同的浏览器能爬取的数据也不同，请注意选择
r = requests.get(url , params = pa , headers = herader)

 2.查看返回值

r.status_code()
print(r.status_code)
#进行输出，查看HTTP的返回值，200表示成功，404或其他返回值则表示失败
#当返回值为200时可以进行接下来的操作

 3.获取字符串

print(r.text)

 4.从HTTP的header中猜测响应内容编码方式

r.encoding

5.HTTP响应内容的二进制

r.content()

目前只掌握了get方法

后续其他方法暂未学习