import requests
1发送带header的请求
为什么请求需要带上header?
模拟浏览器,欺骗服务器,获取和浏览器一致的内容
header的形式:字典
headers={“User-Agent”:"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36
"}
用法:request.get(url,headers=headers)
2发送带参数的请求
例如:https://www.baidu.com/s?wd=python&c=b
参数的形式:字典
kw={“wd”:“长城”}
用法:request.get(url,params=kw)
url编码和其他的编码方式不太一样
task
1获取新浪首页,查看response.text和response.content.decode()的区别
2.实现任意贴吧的爬虫,保存网页到本地