手机写python爬虫_我用手机写了一个Python爬虫，爬下了《凡人修仙传》……

前言

↓

舞剑很喜欢阅读网络小说。

凡人修仙传，知北游，无限恐怖……等等，优秀的网络小说很多，为此，我在三年前创办了一个推书公众号@无梦解书荒。

专门用来推荐我觉得好看的网络小说。

小说爬虫

起因

老书虫一般有两个烦心事，第一，不知道看什么。第二，不知道去哪看。

第一个，可以去找推书公众号，以及各大榜单扫榜。

第二个，就没那么容易了。

翻开百度一搜，广告横行，弹窗关都关不完，阅读体验差的一批。

这时候，我们可以用 Python 爬虫，将小说从网页端爬取下来，整理成 TXT 文本，导入喜欢的阅读APP观看。

准备

舞剑前面介绍了两款 Python 集成开发环境，分别是 QPython 和  Pydroid 。

这一次，就用 Pydroid 来爬取小说。

获得 Pydroid * 1

Python 爬虫，必须要观看源码，从源码中寻找需要的资源与文本。可以直接用 Python 扒源码，我这里建议用网页源码查看器，简单直观。

获得 Alook浏览器 * 1

开始

1. 获取小说地址

①我这里准备爬取凡人流小说《凡人修仙传》

②随机选取网址：

m.9txs.com/book/61781.html

2. 分析源码地址

①  首先爬取第一章《山边小村》的文本内容，点进去第一章，可以发现网址链接后缀改变了。

m.9txs.com/book/61781/868469.html

多出了 /868469.html。

②  用Milk浏览器打开网址，运行脚本，可以查看源码。

3. 爬取首页 TXT 文本

① 爬取整页源码。

舞剑这里准备使用 requests 库，大家记得安装好。

首先自定义方法 get_one _page()，用来爬取源码并返回给 main()  方法。

接下来，在  main()  函数中输出源代码。

代码如下：

import requests

#获取首页源码

def get_one_page( url ):

response = requests.get( url )

return response.text

def main():

url = 'http://m.9txs.com/book/61781/868469.html'

html = get_one_page( url )

print( html )

main()

②解析页面，筛选内容。

首先，来看看正文部分究竟在源码的哪里。

嗯，在 div id=“main”>……中间。

章节标题在 h1 class=“headline”>

正文内容在 div class=“content”>

至于作者与书名，我们暂时不需要。

③编写代码，提取内容

这里准备使用 lxml 库来爬取正文，没安装的小伙伴记得先安装，很方便的。

首先，导入 lxml 库的 etree 模块。

然后，使用 etree 的 HTML() 方法来初始化源码。

最后，使用xpath语法来抽取我们需要的内容。

这里，新建一个方法 parse_one _page() 用来爬取资源。

代码如下：

#解析源码，提取正文

def parse_one_page( html ):

html = etree.HTML( html )

#标题

title = html.xpath('//div[@id="main"]/h1/text()')

#正文

content = html.xpath('//div[@id="main"]/div[@class="content"]//text()')

print( title )

print( content )

需要的内容为 title(标题) 和 content(正文)。

这里的代码输出后，会得到两个数组，分别记录着标题和正文的内容。

内容如下所示：

[‘第1章 山边小村’]

[’\n\t’, ‘二愣子睁大着双眼，直直望着茅草和烂泥糊成的黑屋顶，身上盖 着的旧棉被，已呈深黄色，看不出原来的本来面目，还若有若无的散发着淡 淡的霉味。’, ‘\n’, ‘在他身边紧挨着的另一人，是二哥韩铸，酣睡的十分 香甜，从他身上不时传来轻重不一的阵阵打呼声。’, ‘\n’, ‘离床大约半丈 远的地方，是一堵黄泥糊成的……’, ‘……’, ‘\n\t’]

可以看到，这两个数组的确是我们需要的内容。

那么，就剩下最终的一步，将 爬取的小说标题和正文保存到 TXT 文本中。

写入文档，保存为TXT||4

保存为 TXT 文本很简单，只需要使用 Python 自带的文件系统就可以了。

这里先新建一个方法 write_txt()， 用来保存 TXT文本。

接着使用内置方法，创建 txt 文件 凡人修仙传.txt，设置参数为 a+，表示可以追加内容，最后使用 **write()**方法写入即可。

代码如下所示：

#保存TXT文本

def write_txt( result ):

with open( '/sdcard/凡人修仙传.txt', 'a+' ) as f:

f.write( result )

接下来，就是在 main() 方法中调用 **write_txt()**方法就行了，但这里有两个问题：

① parse_one _page()方法返回的是列表（list），不能直接写入到 TXT 文本中。

②列表正文（content）中，除了小说正文外，还包含了 “\n \t” 这些符号，必须要去除后再写入 txt文档，才不会影响阅读体验。

取出标题

我们先取出 title（标题）中的内容， title 中只有一个内容，所以只需要使用下标为0的中括号就能取出，代码如下所示：

write_txt( title[0] )

取出正文

接着要取出 content（正文）中的内容， content 内部包含了换行符（\n）和制表符（\t），它们散落在每一段文字的开头与结尾，这里直接使用 join() 方法，用 \n 将内容连接为 str（字符串）。

代码如下所示：

write_txt( '\n'.join(content) )

最终会在手机根目录生成 凡人修仙传.txt 文本，打开后可以看到爬取的内容一切正常。

后记

就这样，用 Python 爬虫爬下了凡人修仙传第一章的内容，是不是很简单。

至于其他章节的内容，留在下一节继续写。

另外，源码很简单，总共也就30行，如果有需要的小伙伴，记得关注我，后台回复：爬虫01，获取本次的代码。

关于 Pydroid ，可以去翻翻我以前的文章，也可以后台直接回复：0003， 免费领取。

文中用到的 Alook，嫌麻烦的小伙伴可以用其他的 via 等浏览器取代，只要可以查看源码就行。

当然，也可以后台回复：0008，或者直接回复： Alook， 即可免费获取。