Pyhton爬小说实例解析笔记——内容分析（正则表达式）

前言

我们既然有了点爬虫基础语句了，现在就开始进入第二阶段——解析内容阶段了。

import requests #引入requests库
hd={
   "user-agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"}#声明user-agent
url="https://www.ibswtan.com/33/33270/"
r = requests.get(url,headers=hd) #进行网页获取

这是上一篇我们写的代码。

规划

现在让我们先来捋捋到底是个什么过程。
我们需要什么，不需要什么都在网页源代码里，我们经过哪些过程，才实现爬取到小说内容呢？
让我们打开我们想要爬取的小说首页，在这里我举这个栗子：https://www.ibswtan.com/33/33270/

如果侵权了话，我会删除掉的。
我们可以看到，这个小说首页目录，所以我们先要获取什么呢？
为什么我们可以点进到文章里面，原理就是HTML的a标签，我们进入a标签的href属性的链接里了。
所以说，我们要获取章节的a标签的链接，然后获取链接的源代码，分析出文章内容。这基本上就是整个流程了。
所以说，爬虫的解析是依据网页html代码的结构进行获取的，我们要依据html源代码写出我们的解析方式。

分析过程

关于网页源代码的分析，有许多的方法，因为pytho有很多解析库，其中有bs4,lxml,Selenium这几个解析库。虽然只用学会其中一两个就可以了，我们还是先一步一步来吧。

获取章节链接

我们先来做获取章节链接的部分。

正则表达式

正则表达式是很通用的一种解析方式，如果你知道什么使用它的话，会很轻松的。

正则表达式处理字符串的过程
(1) 编写正则表达式。
(2) 使用正则表达式引擎对正则表达式进行编译，得到正则表达式对象。
(3) 通过正则表达式对象对字符串进行匹配(或过滤)，得到匹配(或过滤)结果。

我们不需要讲解过多，因为讲解详细的文章很多可以自己了解一下。
在这里我就只会讲到我使用的东西。
这里是我用正则表达式解析章节链接的内容：

import re
key=re.compile('<dd>.*?<a.*?href="(.*?)".*?>(.*?)</a>.*?</dd>')
res=key.findall(r.text)

正则表达式的语法和基本格式

正则表达式的整体结构：
如代码所示，我们首先引入了re这个库，你可以不知道这是什么意思，但要知道，要使用正则表达式的话就要引入这个模块。
然后呢，我们要写入我们的正则表达式的规则。
re.compile这个方法，这个方法根据包含的正则表达式的字符串创建模式对象。我们要在里面写入提取规则。
最后，xxxxx.findall 就是根据上一个所写的方法，提取匹配的文字。
findall方法返回的是一个列表，所以在使用的时候要注意数据问题。
正则表达式的编写