python 爬虫（1）--爬取百度图片，你确定不来看一看

前言

学习python有什么用？python编程语言在当今已经成为主流语言，拥有丰富的库函数，在人工智能和图像处理等多方面有着突出的表现。今天我们通过python爬取百度图库。
爬虫从字面上来讲就是爬动的虫子，主要是用来自动爬取目标数据的。可以帮住我们完成在目标网页下载查找数据，减轻了人工查找。利用python中的库函数可以轻松的实现一个爬虫脚本。
从本文之后，会陆续出关于爬虫的知识和案例。供大家学习交流。

本文说明：只用作学习交流，不用于商业用途。

下面图片均为此程序爬取：

准备工作

使用的python版本：
python 3.7
使用编辑器：
pycharm
用到的库函数：
requests
os
re
安装方法：
1、通过CMD命令框安装：
ctrl+r输入cmd进入命令框输入pip install 库名 如：pip install os
2、通过pycharm安装：

浏览器：
谷歌 chrome

网页分析

目标网页百度图片

1、链接分析：

https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1609136515311_R&pv=&ic=&nc=1&z=&hd=&latest=&copyright=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&hs=2&sid=&word=%E7%8C%AB

可以看到链接中有许多的参数，我们先不要管其他的参数，看看word这个参数，让我们把word这个的数据换成猫试一下能不能搜到东西。

可以看到word的参数就是我们要找的目标。所以我们只需要改变word的参数就可以，搜索想要的数据了，至于其他的参数我们暂不考虑。
如果说你复制链接后word的参数变成乱码了，其实不用担心，那是%后面跟16进制，代表url编码。因为汉字是不能传输的的，所以会变成这种样式。并不影响结果。
先让我们实验一下能否返回数据：

import requests

headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36',
} #伪装为浏览器
data = requests.get(url , headers = headers)
print(data.text)

返回结果：

提示需要进行安全认证，我们并不能获取到网页源码。这时我们就要想一下为什么，我们用浏览器就可以看到，用python为什么就看不到了呐。这是因为我在浏览器上登录了百度的账号。登陆后百度会返回一个Cookie，每当我的浏览器浏览百度服务器的时候带上这个Cookie数据，就可以直接访问了。那么我该如何获取Cookie呐，其实浏览器中有，下面让我们看一下如何得到Cookie。

在目标网页，按下F12键调出开发者选项。按照下图箭头指的选项找到对应的数据，如果没有数据，可以刷新网页。

如何将Cookie传递过去呐，只需要放到headers中即可。这时返回的数据就为网页源码。

import requests

headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari