爬虫踩过的坑！！！

case：爬取10万数量级的英文新闻。

目标站点：卫报（是英国的全国性综合内容日报）

---

看我细数那些坑：

• xpath路径容易搞错。google网页自带的copy.xpath得到的路径一不留神就会出错，而且他给的路径有时灰常复杂，这就需要机智的你找到规律，略微修改，利用ctrl+f ,检查修改的路径能否如愿以偿。

• scrapy.Request 前面常常会丢掉yield，然后就会发生callback函数打死都不会被调用！！！

• 文章内容中好多包装的词句，如该词句添加链接等，这时xpath 路径中/text()和 //text()到底用哪个，要好好斟酌了，/text()只获取当前标签的所有文本，而当前标签的子标签不被获取

• -

---

爬虫过程的收获也是满满的！！！

• 爬虫最重要的便是效率问题，我也get到以下几种提高效率的方式：

增加并发数：事先做一些测试，获得Scrapy进程占取CPU与并发数的关系。 为了优化性能，可以选择一个能使CPU占用率在80%左右的并发数，在setting.py文件中将CONCURRENT_REQUESTS = 1000.

如果网站有限制时，在setting.py文件中可以用设置Header,IP代理、换user_agent、换cookie来伪装请求，尽量不要设置download_delay

利用DNS解析缓存，一个域名解析后缓存下来供后续重复调用，避免重复解析同一个域名。参考链接