爬虫笔记day12

requests模块

功能：
类似于urllib库，向网站发请求获取响应，为第三方模块

安装：
Linux：sudo pip3 install requests
Windows：python -m pip install requests

常用方法：

res=requests.get(url=url,headers=headers)
响应对象res属性
res.text:获取响应对象内容-字符串
res.content:获取响应对象内容-bytes
res.status_code:获取http响应码
res.url:返回实际数据的url地址

图片抓取

说明：图片、音频、视频在计算机中均以二进制存储
实现：
1、找到所要抓取图片的url地址
2、向图片url地址发请求，获取二进制响应内容（bytes）
3、正常打开文件，将响应内容以wb的方式保存到本地

实例：

抓取百度图片中指定1张图片保存到本地文件
思路：
1、找到图片的url地址
2、向图片的url地址发出请求，获取bytes响应内容
3、将bytes响应内容写入本地jpg文件
图片地址需要查看网页源码找出图片地址

图片地址：https://img1.baidu.com/it/u=1536415620,4051859934&fm=26&fmt=auto
headers={'User-Agent': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E'} 

实现代码：

import requests
import os
url="https://img1.baidu.com/it/u=1536415620,4051859934&fm=26&fmt=auto"
headers={'User-Agent': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E'}        #计数变量
#1、一定要获取bytes形式的文件
html=requests.get(url=url,headers=headers).content

#2、确定文件保存路径
directory='./image/'
if not os.path.exists(directory):
    os.makedirs(directory)

#3、保存到本地
filename=directory+url[-10:-4]+'.jpg'
with open(filename,'wb') as f:
    f.write(html)

运行结果：