Python爬虫-bug处理办法（持续更新）

学习python爬虫以来，一直有不少小问题出现，解决了也就解决了，但总感觉少了些啥，好吧，不想了，这bug已经够恼人了。总之，在此总结一下，python爬虫出现的bug及其解决方法，之前在博文中说明的“坑”也会慢慢写进来。

1.python使用xpath爬取数据返回空列表

问题： 爬取西刺代理网站时，使用xpath解析网页root.xpath("//table[@id='ip_list']/tbody/tr")，该解析式正确，html返回正常，但解析出来的列表长度为0，百思不得其解

资料： 浏览器会对html文本进行一定的规范化，会自动为路径中添加tbody，导致xpath解析失败
处理办法： 在路径中去除tbdoy这个标签，如：root.xpath("//tr[@class=''] | //tr[@class='odd']")

2.爬取豆瓣返回418

问题： 爬取豆瓣电影TOP250时豆瓣一直返回418状态码，无法正常访问
尝试header请求头加入完整的Cooking等参数均无效果
处理办法： 在请求时候加入参数timeout有效解决豆瓣返回418问题，可参阅博文爬虫练习-爬取豆瓣电影 Top 250信息并存储于本地