requests-get爬取网页
需要安装,pip install requests
import requests
#get方法,请求一个网页
rp=requests.get("http://www.baidu.com")
#设置网页编码
rp.encoding="utf-8"
#打印出文本字符串数据
#print(rp.text)
#打印字节流
print(rp.content)
requests功能详解
基本请求(GET/POST)
响应与编码
Headers设置
Cookies设置
代理设置
超时设置
requests-post请求
post执行将表单data数据传送给网址
import requests
#构建data
data={
"name":"liming",
"pass":"abc123"
}
#带data发送请求
res=requests.post("http://www.iqianyue.com/mypost/",data=data)
result=res.content#字节流
#写入文件
f=open("lem.html","wb")
f.write(result)
f.close()
#结果如下图
注意:re.content获取的是字节流数据,所以是“wb”
re.text获取的是字符串数据,所以用“w”