Python爬取全书网小说全文——正则表达式的应用

1. 引言

各位读者新年好，今天给大家带来的案例是爬取全书网小说全文，主要用到了正则表达式。我们知道，正则表达式一般用来进行格式化的精确匹配，用来爬取多文本的内容非常方便。本次采用面向过程的方法，理解起来较为简单。

2. 代码实现过程

首先进入全书网（网址：https://www.xs4.cc/），随便选一篇小说，比如这个《我在古代日本当剑豪》这一偏小说。点进去之后可以看到已经更新到352章了。

接下来就是正式爬取的过程了，总共分为五个步骤：

• 1 获取小说列表页面源代码
• 2 获取每章的URL
• 3 获取每章的HTML
• 4 通过正则表达式去匹配小说内容
• 5 处理小说内容，并保存

#首先导入需要用到的模块
import requests
import re
import time
import os

#定义抓取函数
def get_book_content():
    """爬取小说"""
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36'
    }
    #1.获取小说列表页面源代码
    burl = 'https://www.xs4.cc/14_14983/'

    response = requests.get(burl,headers=header)
    response.encoding = 'gbk'
    html = response.text
    
    title = re.findall(r'<h1>(.*?)</h1>', html)[0]
    if not os.path.exists(title):
        os.mkdir(title)

    reg = r'<dd><a href="(.*?)">(.*?)</a></dd>'
    urls = re.findall(reg, html)

    i = 1
    for url in urls[9:]:        #跳过前面的介绍更新章节
        #2.获取每章的URL
        novel_url0, novel_name = url
        novel_url = 'https://www.xs4.cc' + novel_url0
        
        #3.获取每章的HTML
        chapt = requests.get(novel_url)
        chapt.encoding = 'gbk'
        chapt_html = chapt.text   

        #4.通过正则表达式去匹配小说内容
        reg = r'<div id="content">&nbsp;&nbsp;&nbsp;&nbsp;(.*?)</div>'
        chapt_content = re.findall(reg, chapt_html, re.S)

        #5.处理小说内容，并保存
        chapt_content = chapt_content[0].replace('&nbsp;&nbsp;&nbsp;&nbsp;', "")
        chapt_content = chapt_content.replace('<br />', "")

        print("正在保存 %s" % novel_name)
        time.sleep(1)               #每次抓取后停顿一秒钟，防止被识别为爬虫，被禁用
        file_path = title + '/' + novel_name + '.txt'
        with open(file_path, 'w') as f:
            f.write(chapt_content)
        i += 1
        
        
if __name__ == '__main__':
    get_book_content()

代码执行后，结果如下：

打开保存的文件夹：

随意打开一个文件，可以看到小说已经完美的被爬下来啦。

So，你学会了吗？欢迎关注微信公众号“爬取你的深度神经网络”获取源代码和更多精彩文章。