case:爬取10万数量级的英文新闻。
目标站点:卫报(是英国的全国性综合内容日报)
看我细数那些坑:
xpath路径容易搞错。google网页自带的copy.xpath得到的路径一不留神就会出错,而且他给的路径有时灰常复杂,这就需要机智的你找到规律,略微修改,利用ctrl+f ,检查修改的路径能否如愿以偿。
scrapy.Request 前面常常会丢掉yield,然后就会发生callback函数打死都不会被调用!!!
文章内容中好多包装的词句,如该词句添加链接等,这时xpath 路径中/text()和 //text()到底用哪个,要好好斟酌了,/text()只获取当前标签的所有文本,而当前标签的子标签不被获取
- -
爬虫过程的收获也是满满的!!!
- 爬虫最重要的便是效率问题,我也get到以下几种提高效率的方式:
增加并发数:事先做一些测试,获得Scrapy进程占取CPU与并发数的关系。 为了优化性能,可以选择一个能使CPU占用率在80%左右的并发数,在setting.py文件中将CONCURRENT_REQUESTS = 1000.
如果网站有限制时,在setting.py文件中可以用设置Header,IP代理、换user_agent、换cookie来伪装请求,尽量不要设置download_delay
利用DNS解析缓存,一个域名解析后缓存下来供后续重复调用,避免重复解析同一个域名。参考链接