0基础学Python爬虫之全网小说免费读###

前言

本文案例适合爬虫入门学习，有些地方描述不清晰，如有疑问欢迎在下方留言。完整代码@ 私聊小编领取。

环境

Python3.6+Windows

大概思路

• 获取小说主页源代码
• 在主页源代码中找到每个章节的超链接
• 获取每个章节超链接的源代码
• 获取章节的内容
• 保存内容到本地

码代码

• 导入一些基本的模块：

import requests
from bs4 import BeautifulSoup
import random

以上代码获取网页全部源代码，然后，使用正则表达式获取文章全部章节的URL。

• 构建函数，避免重复代码
• 接下来，用with open方法写入txt文件中。