记录一次简单python爬虫遇到的问题

1. python版本问题。

  当系统有多个python版本的时候，可以用anaconda来管理。如果是自己随便安装的，还要留意python的解释器用的是哪个版本，pip下载依赖是在哪个目录下，pip下载可以指定目录的。

2. 爬虫ip被封。

     这次我用了两种思路。一个是更换代理，就是指定header， 使用fake_useragent包的UserAgent来随机使用header。还有一种是使用IP代理，http://h.zhimaruanjian.com/getapi/#obtain_ip和https://blog.csdn.net/lw_power/article/details/77946852的requests方法，不知道为什么urllib是不可以的。

3. 存储问题。

    是采用Mongodb来进行存储，这里有两个坑，一个是爬虫这种东西数据来源其实并不可信，比如唯一性等，所以一定一定不能用得到的信息来创建主键索引，因为随时有可能主键冲突，一页里有一个主键冲突了那这一页都写不了了，分分钟让人爆炸?；还有一个就是create_time和update_time也很重要（规范编码），因为爬取的数据，如果在某一时间段内是无效的，可能需要把这些数据删除掉，但是如果没有这些，要删除指定时间段的数据也是很让人头大的。

4. 编码问题。

    防御式编程！防御式编程！防御式编程！重要事情说三遍，外来数据本来就是不可靠的，更何况是爬取的网页这么不可靠的东西。如果防御式编程没有完全落实，NPE、OutOfBounds分分钟炸给你看，其实设计的时候多写几行代码，比异常抛出了，代码跑飞了，检查数据，删除数据，重新确定下标，再加上代码要省时得多。