python爬虫小说下载到txt文档_python 爬取网络小说 清洗 并下载至txt文件

什么是爬虫

网络爬虫，也叫网络蜘蛛(spider)，是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。

网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。

爬虫访问网站的过程会消耗目标系统资源。不少网络系统并不默许爬虫工作。因此在访问大量页面时，爬虫需要考虑到规划、负载，还需要讲“礼貌”。 不愿意被爬虫访问、被爬虫主人知晓的公开站点可以使用robots.txt文件之类的方法避免访问。这个文件可以要求机器人只对网站的一部分进行索引，或完全不作处理。

互联网上的页面极多，即使是最大的爬虫系统也无法做出完整的索引。因此在公元2000年之前的万维网出现初期，搜索引擎经常找不到多少相关结果。现在的搜索引擎在这方面已经进步很多，能够即刻给出高质量结果。

爬虫还可以验证超链接和HTML代码，用于网络抓取。

环境：pycharm2017、python3.7

对于初学者来说，爬取小说是最简单的应用，而对于没有任何语法基础的人来说，清晰的逻辑往往比大段的代码更重要。

整个过程分为以下几步：

1.确定爬取目标(网页，前段页面)

首先要明确爬虫的原理，是从网页源代码进行进行数据爬取，本次是以http://www.92kshu.cc/69509/为例，进行小说爬取

2.分析代码，进行数据爬取

主要用到的是python的正则表达式，对想要爬取数据进行选择

title = re.findall(r‘‘,html)[0]

在此语句中，用的是re库，对