前几天跟同事聊到最近在看什么小说,想起之前看过一篇文章说的是网络十大水文,就想把起点上的小说信息爬一下,搞点可视化数据看看。这段时间正在看爬虫框架-pyspider,觉得这种网站用框架还是很方便的,所以今天就给大家带来这篇---起点中文网小说爬取。可视化我们放到下一集。
安装使用
安装和基本使用请查看pyspider中文文档,我们这篇主要不是介绍pyspider哦。Mac安装的过程中出现了一些问题,请看Mac安装pycurl失败,装好以后使用pyspider all启动。然后打开浏览器输入:http://localhost:5000/
![8bb3e5318f86b9b3876b91a966c6f355.png](https://i-blog.csdnimg.cn/blog_migrate/077699fe0e7018cc9834a5ea8acba075.jpeg)
创建以后,我们就开始分析并编写起点爬虫了。
爬虫编写
打开起点中文网(https://www.qidian.com/),选择全部作品并按照字数排序
![6f43c9e431ef9a22817dd802ab7b3892.png](https://i-blog.csdnimg.cn/blog_migrate/40bf049aaf98d995d2284bde34d4e326.jpeg)
右键检查元素,因为是静态网页,所以我们就直接解析网页元素就行了,可以使用BeautifulSoup、PyQuery、xpath或者正在表达式。我习惯用xpath,所以就采这个坑了。
![a250be0df6c4cc9df0673eb47edee740.png](https://i-blog.csdnimg.cn/blog_migrate/2c5e88badfd252cca96671d2ab720ffb.jpeg)
Chrome可自动生成xpath
![62db0f995f8730244b70d7d4f8feacad.png](https://i-blog.csdnimg.cn/blog_migrate/cbfae9dfe9f0e6d1bfac0068e10adc56.jpeg)
但是生成的大部分情况下都不是很合适,比如/html/body/div[2]/div[5]/div[2]/div[2]/div/ul/li[1]/div[2]/h4/a,你看这有多长,还是自己写吧,chrome浏览器可以帮我们验证xpath这个是很方便的,有的人是按照xpathhelper插件,我觉得原生就很好用了, CTRL