1.导入库
import requests
2.获取响应response的请求
1.get请求
import requests
# get请求获取响应
url="http://www.baidu.com/s"
param={'wd':'李白'}
response=requests.get(url,params=param)
response.encoding=response.apparent_encoding
# 如果get请求需要携带参数可以通过params携带参数
print(response.text)
如果响应的内容打印出现乱码,可以使
response.encoding=response.apparent_encoding
2.post请求
import requests
# post请求获取响应
url="https://www.baidu.com/"
param={'kw':'李白'}
# post请求使用data参数进行传参
response=requests.post(url,data=param)
response.encoding=response.apparent_encoding
# 如果post请求需要携带参数可以通过data携带参数,把参数存储在字典内
print(response.text)
3.response的属性
4.定制请求头防止拦截
5.request的方法
6.搜索引擎关键字提交
可以先在浏览器随意搜索一个词,查看字典内的key值是什么。
7.爬取图片
import requests
path='E:\大数据分析实验\ 2.jpg'
url="https://bkimg.cdn.bcebos.com/pic/f2deb48f8c5494eef01f7c7518a3f7fe9925bc31d01b?x-bce-process=image/resize,m_lfit,w_536,limit_1"
# 下载图片
response=requests.get(url)
response.encoding=response.apparent_encoding
# 设置保存路径
try:
with open(path,'bw') as f:
f.write(response.content)
print("爬取成功")
except:
print("爬取失败")
如果使用response.text的话会报错,因为r.text是按照字符串形式返回会导致保存图片出错,然而r.content是按照二进制形式返回的。