python爬虫从0到1遇到问题及解决方向

一.环境介绍

1.由于使用惯了Eclipse，我直接在里面装了个pydev，当初装的时候遇到些版本兼容问题，请大家装的时候一定要根据自己python版本来装，我的是python2.7.X，注意在线安装有个小坑，如下图：

这是自动屏蔽旧版本，如果不注意会装错至最新，除了以上装法，还有就是自己下载，解压到Eclipse安装

文件的plugins文件下。

二.python扩展工具包的使用和爬虫整体思路

1.网页下载器

可以用py自带的urllib2，直接import使用即可，本文使用扩展的respects来充当下载器（因为功能比较强大，还有其他一些功能，如post），下载方式比较简单，可以用pip命令（本人的不知道怎么用不了，出现奇怪异常）不过可能会撞墙，推荐http://www.lfd.uci.edu/~gohlke/pythonlibs/找到相应的包，把后缀改为ZIP解压到py的Lib中即可。

2.网页解析器

主要用2种，都是扩展的（py不自带），beautifulsoup4和xpath，个人感觉后一种好用一点，后面会具体介绍。

3.URL管理器

这个是自己用2个Set实现的，一个存放即将使用的URL，一个存放使用过的URL（不然可能在一个网页循环爬取）。

三.实战爬取起点高质量小说

1.爬取前的准备

由于我爬取的是起点的玄幻小说为主，所以我的起始URL为:

http://book.qidian.com/info/1004608738

然后观察每个小说的URL 发现都是http://book.qidian.com/info/数字   格式，所以在每个页面URL可以正则匹配，看是否符合格式。