Python爬虫实战：爬取全站小说排行榜

       喜欢看小说的骚年们都知道，总是有一些小说让人耳目一新，不管是仙侠还是玄幻，前面更了几十章就成功圈了一大波粉丝，成功攀上飙升榜，热门榜等各种榜，扔几个栗子出来：

       新笔趣阁是广大书友最值得收藏的网络小说阅读网,网站收录了当前......我就不打广告了（其他满足下文条件的网站也行，之前已经有做过简单爬取章节的先例了，但效果不太理想，有很多不需要的成分被留下了，来链接：http://python.jobbole.com/88560/。我们本文就爬取这个网站的上千本小说。重点在和大家一起分享一些爬虫的思路和一些很常遇到的坑。

本文的行文脉络：
1、先构造一个单本的小爬虫练练手；
2、简要分享一下安装MongoBD数据库时的几个易错问题；
3、运用Scrapy框架爬取新笔趣阁全站排行榜。

一、爬取单本小说

      爬取该网站相对来讲还是很容易的，打开编辑器（推荐使用PyCharm，功能强大），首先引入模块urllib.request(Python2.x的引入urllib和urllib2即可，待会我把2.x的也写出来给大家看看)，给出网站URL，写下请求，再添加请求头（虽然这个网站不封号，但作者建议还是要养成每次都写请求头的习惯，万一那天碰到像豆瓣似的网站，一不留神就把你封了）话不多说，直接上图：

      然后再将请求发送出去，定义变量response，用read（）方法观察，注意将符号解码成utf-8的形式，省的乱码：

      打印一下看结果：

      看到这么一大条就对喽，对比一下网页源码，发现是一致的。

      这步观察很重要，因为这就说明该网站没有使用AJA