【Python爬虫01】爬虫原理及基本请求库urllib

背景：去年夏天学过一点python爬虫，但是后面在工作中很少用到，所以语法就基本忘光，这次又重新捡起来学，一边看视频一边整理，也便于自己记忆和回顾。

本次复习目录：
一、网络爬虫的定义
二、爬虫原理
三、基本请求库：urllib
四、高级请求库：Requests
五、解析法：BeautifulSoup
六、解析法：Xpath
七、解析法：正则表达式
八、爬虫实战练习

一、网络爬虫是什么？

（感觉现在在哪都能听到这个词，说起来都很高大上的样子）

爬虫的定义：请求网站，并提取数据的自动化程序。
通过模拟浏览器，按照一定的规则，自动、大批量的获取网络资源，包括文本、图片、链接、音频、视频等等。

二、爬虫原理

（讲的就是如何获取网络资源的问题—怎么爬？要有尊严的爬，坐着就把数据优雅的爬下来）

1、发起请求：模拟浏览器向目标站点发送一个request，等待服务器响应；
2、获取响应内容：如果服务器能正常响应，会返回一个response，这便是所要获取的页面内容
3、解析内容：根据自己的需求，通过各种解析方法，将得到的内容进行解析
4、保存数据：存放于数据库或者保存为特定格式的文件

所以接下来本次我们要学习的内容就是以上这四个步骤了。

三、基本请求库urllib

这个库的作用呢，就是爬虫原理中的第一、二步，向目标网站发送请求用的。

本节内容：

1. 用urllib抓取网页的基本语法
2. 抓取需要输入关键词的网页
3. 抓取需要登录密码的网页
4. 抓取反爬机制的网页
5. urllib异常处理

1、用urllib抓取网页的【基本语法】

有两种方法，一种是直接抓取，一种是直接将目标网址的网页信息保存到本地。

#无论哪种方法，先导包
import urllib.request

• 方法一：（常用）
  urllib.request.urlopen(url, data, timeout) 发送请求直接抓取

'''
urllib.request.urlopen(url, data, timeout) 发送request请求（3个参数不需都写，但必须有url）
url：目标网址
data：访问url时发送的数据包，默认为null
timeout：等待时长
'''
response = urllib.request.urlopen('http://www.baidu.com/')
# decode()：解码，将字节流格式数据以相应的形式转化为字符串
print(response.read().decode('utf-8'))

通过urllib请求后得到的response打印如下：<http.client.HTTPResponse object at 0x000001DA07919608> 所以要先read()读取出来，但是给我的页面都是字节流数据，所以我们要在该网页源代码中找到其chartset，比如百度首页的编码格式就是utf-8，所以发送请求后，要拿到我们可读的网页就需要先read()再decode()解码。
具体如何找到目标网页的编码格式如下图：

• 方法二：
  urllib.request.urlretrieve(url,filename) 将目标网址网页信息保存到本地

'''
urllib.request.urlretrieve(url,filename) 直接将目标网址的网页信息保存到本地
filename：想保存到的路径文件名
然后用urllib.request.urlcleanup()清除缓存
'''
filename = urllib.request.urlretrieve('http://www.baidu.com/',filename='baidu.html')
urllib.request.urlcleanup()

2. 抓取需要输入【关键词】的网页

背景：我想爬取目标网页上支持搜索关键词的网页所有相关信息，比如我想爬百度上所有python的信息，或者疫情的信息，或者其它的信息，如果每次都更换url那就太低效了。
分析网页url：目