Python网络爬虫（第二篇）

静态网页抓取

一：什么是静态网页？

静态网页：在网站设计中，纯粹的HTML格式的网页就称为静态网页。在网络爬虫中，静态网页的数据都呈现在HTML代码中，所以比较容易获取。动态网页是使用AJAX动态加载网页数据不一定出现在HTML代码中，这就相比于静态网页，爬取动态网页的数据上升了一个难度。

二、为什么爬取静态网页数据比较简单？

在抓取静态网页数据中，有一个强大的Requests库能够让你轻易的发送HTTP请求。操作起来也非常简单。

三、静态网页的抓取（本次案例以网为材料）
1：获取响应内容（记得自己安装requests库）

r.text是服务器响应的内容，它会自动根据响应头部的字符编码进行解码。
r.encoding是服务器内容使用的编码。
r.status_code用于检测相应的状态码。
r.content是字节方式的响应体，会自动解码gzip和deflate编码的响应数据。
r.json（）是Requests中内置的JSON解码器。

2：定制Requests：有些网页需要对Requests的参数进行设置才能获取需要的数据。其中包括传递URL参数、定制请求头、发送POST请求等。

传递URL参数：如果你是自己构建URL，则数据一般跟在问号的后面，并且以键/值的形式放在URL中，例如https://www.baidu.com/?tn=18029102_2_dg（百度首页）在Requests中，你可以直接把这些参数保存在字典中用参数构建至URL。
例如：

import requests
key_dict={
   'tn':'18029102_2_dg'}
r=requests.get('https://www.baidu.com/',params=key_dict)
print('URL的正确编码',r.url)

3：定制请求头（Headers）：提供了关于请求、响应、或其他发送实体的信息。如果没有指定请求头或请求头与实际网页不一致，则可能无法返回正确的结果。

找到请求头的步骤：在网页点击鼠标右键——检查——Network——Ctrl+R——选择页面（一般左侧的页面为第一栏文件）——点击及显示Request Headers的信息。

以本次案例（百度页面）举例，提取请求头信息的重要部分后将代码完善：

import requests

headers={
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'

                      ' AppleWebKit/537.36 (KHTML, like Gecko) '

                      'Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60',

         'Host':'www.baidu.com'}

r=requests.get('https://www.baidu.com/',headers=headers)

print('响应状态码',r.status_code)

运行结果

4：发送POST请求：除了GET请求以外，有时还需要发送以一些编码为表单形式的数据就要用到POST请求。

例如登录账号时：使用GET请求，密码就会显示在URL中，这很不安全。
实现POST请求：传递一个字典给Requests中的data参数。
即

key_dict={