python爬虫基础知识（有案例）

一、爬虫的基础概念

爬虫：是通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。

（一）爬虫在应用场景中的分类

1. 通用爬虫：是爬取系统重要组成部分，抓取的是一整张页面数据。
2. 聚焦爬虫：是建立在通用爬虫的基础之上，抓取的是页面中特定的局部内容。
3. 增量式爬虫：是检测网站中数据更新的情况，只会抓取网站中最新更新出来的数据。

（二）反爬机制（robots.txt协议）

robots.txt协议：是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。
robots.txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。

查看网页的robots协议的内容：网址+/robots.txt
例如：https://www.taobao.com/robots.txt

（三）超文本传输协议

1. http协议

• 概念：是服务器与客户端进行数据交互的一种形式。
• 常用请求头信息：
  • User-Agent：请求载体的身份识别。
  • Connection：请求完毕后，是断开连接还是保持连接。
• 常用响应头信息：
  • Content-Type：服务器响应回客户端的数据类型。

2. https协议

1. 概念：是采用证书密钥加密的http协议。
2. 加密方式
   • 对称密钥加密：
   • 非对称密钥加密：
   • 证书密钥加密：

二、requests模块

（一）requests库介绍

Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。用Requests库实现HTTP请求非常简单，操作也相当人性化。因此，Python中常用Requests来实现HTTP请求过程，它也是在Python爬虫开发中最常用的方式。

（二）requests的方法

方法	作用
requests.request()	构造一个请求，支撑一下各方法的基本方法
requests.get()	获取HTML网页的主要方法，对应于HTTP的GET
requests.head()	获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post()	向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put()	向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch()	向HTML网页提交局部修改请求，对应于HTTP的PATCT
requests.delete()	向HTML网页提交删除请求，对应于HTTP的DELETE

1. requests.request()方法

Requests库的request()方法，主要用来构造一个请求，支撑以上各个基础方法。通常使用下面的格式来完成该方法的调用。

requests.request(method, url, **kwargs)

method：是指请求方式，对应上面所讲的get()、put()、post()等方法；
url：代表目标页面的url链接地址；
** kwargs：代表控制访问参数，共13个。例如params参数，代表字典或字节序列，可作为参数增加到url中。代码如下：

sendinfo = {'name':'lily', 'sex':'female'}
r = requests.request('PUT', 'http://httpbin.org/put', data = sendinfo)
print(r.text)

结果如下：

由以上示例代码可以看出，通过通用request()方法，可以包装出通用的接口，来模拟requests对象常用方法的功能。另外，requests()方法的 ** kwargs参数属于可选。

2. requests.get()方法

Requests库的get()方法主要用于获取HTML网页，相当于HTTP的GET。其返回对象response的常用属性如下表所示，我们可通过这些属性获取要访问域名的基本信息。

下面使用get()方法来演示如何通过其返回对象response来获取www.baidu.com 域名的基本信息，示例代码如下：

import requests
r = requests.get("http://www.baidu.com")
print(r.status_code)
print(r.text)
print(r.encoding)
print(r.apparent_encoding)
print(r.content)

如上代码所示，requests对象的get()方法返回的response对象r，通过print()函数打印r的属性值，我们便可获取网站域名的相关信息。

3.requests.head()方法

Request库的head()方法主要用于获取HTML网页头信息，相当于HTTP的HEAD.例如，抓取百度首页的头部信息，示例代码如下：

import requests
r = requests.head("http://www.baidu.com")
print(r.headers)

结果如下：

如上代码所示，首先导入requests包，然后调用head()函数，返回response对象r，最后，通过引用r的相关属性，显示对应网址的相关信息。

4. requests.post()方法

Requests库的post()方法主要用于向HTTP网页提交POST请求，相当于HTTP的POST。这里，我们给指定的url地址http://httpbin.org用post()方法添加sendinfo信息，示例代码如下：

import requests
sendinfo = {'name':'lily', 'sex':'female'}
r = requests.post('http://httpbin.org/put', data = sendinfo)
print(r.text)

结果如下：

由以上代码的交互式输出结果，我们不难发现，字典sendinfo以form表单的形式被发送给response对象。这里也可以直接向url地址发送字符串，示例如下：

import requests
r = requests.post('http://httpbin.org/put', data = 'i am string')
print(r.text)

结果如下：

从代码的交互式输出结果不难发现，字符串以“data：i am string”键值对被保存下来。

5. requests.put()方法

Requests库的put()方法主要用于向HTML网页提交PUT请求，相当于HTTP的PUT。 例如，给指定的put()方法添加字典sendinfo信息，示例代码如下：

import requests
sendinfo = {'name':'lily', 'sex':'female'}
r = requests.put('http://httpbin.org/put', data = sendinfo)
print(r.text)

结果如下：
同样，由上述交互输出可以看出，put()也是用form表单的方式存储自定义的字典，并返回response对象。

6. requests.patch()方法

Request库的patch()方法主要用于向HTML网页提交局部修改请求，相当于HTTP的PATCH。例如，用patch()方法修改刚才put()方法添加的字典sendinfo。

import requests
sendinfo = {'name':'berry', 'sex':'female'}
r = requests.patch('http://httpbin.org/put', data = sendinfo)
print(r.text)

结果如下：

由上述代码可知，通过patch()方法我们成功将字典中的name值修改成功。

7. requests.delete()方法

Requests库的delete()方法主要用于向HTML页面提交删除请求，相当于HTTP的DELETE。例如，我们删除刚才patch()方法修改后的sendinfo字典，示例代码如下：

import requests
r = requests.delete('http://httpbin.org/put')
print(r.text)

结果如下：

由以上代码执行结果可以看出，form表单的内容为空，说明我们删除成功。

（三）requests的编码流程

1. 指定url
2. 基于requests模块发起请求
3. 获取响应对象中的数据值
4. 持久化存储

三、爬虫程序demo

爬取“http://www.biqukan.com/1_1094/5403177.html”网页小说的正文部分，将结果保存到input.txt文件中。

import requests
import re
from lxml import etree

headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36"}
url = "https://www.ahfgb.com/12_12340/6955474.html"
res = requests.get(url,headers=headers).text
s = etree.HTML(res)
film = s.xpath("/html/body/div/div[5]/div/div[3]/text()")
file = open("input.txt",mode="w",encoding="UTF-8")
for ti in film :
    file.write(str(ti))

input.txt 的结果如下：