requests模块
功能:
类似于urllib库,向网站发请求获取响应,为第三方模块
安装:
Linux:sudo pip3 install requests
Windows:python -m pip install requests
常用方法:
res=requests.get(url=url,headers=headers)
响应对象res属性
res.text:获取响应对象内容-字符串
res.content:获取响应对象内容-bytes
res.status_code:获取http响应码
res.url:返回实际数据的url地址
图片抓取
说明:图片、音频、视频在计算机中均以二进制存储
实现:
1、找到所要抓取图片的url地址
2、向图片url地址发请求,获取二进制响应内容(bytes)
3、正常打开文件,将响应内容以wb的方式保存到本地
实例:
抓取百度图片中指定1张图片保存到本地文件
思路:
1、找到图片的url地址
2、向图片的url地址发出请求,获取bytes响应内容
3、将bytes响应内容写入本地jpg文件
图片地址需要查看网页源码找出图片地址
图片地址:https://img1.baidu.com/it/u=1536415620,4051859934&fm=26&fmt=auto
headers={'User-Agent': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E'}
实现代码:
import requests
import os
url="https://img1.baidu.com/it/u=1536415620,4051859934&fm=26&fmt=auto"
headers={'User-Agent': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E'} #计数变量
#1、一定要获取bytes形式的文件
html=requests.get(url=url,headers=headers).content
#2、确定文件保存路径
directory='./image/'
if not os.path.exists(directory):
os.makedirs(directory)
#3、保存到本地
filename=directory+url[-10:-4]+'.jpg'
with open(filename,'wb') as f:
f.write(html)