qq_63071048的博客

原创 初学scrapy爬虫的一些坑

（1）首先就是response对象中xpath属性规则的编写，一定要一层层往里定位，不要跳层，哪怕写错一个符号，都可能无法爬取【地址都给错了，爬虫根本就找不到，你说怎么爬】通过异常处理机制，我也顺利爬取成功.（2）还有一个很重要的，也是我在该项目遇到的问题。例如这250本书，有一些是没有写总结信息的，所以一旦爬到该本书，就会报错，爬虫就不再爬了。1、如果有代码无误却爬取不了的状况，那么一个可能是网络不好，另一个可能就是服务器拒绝响应，这种的话一般可以配置一下请求头，伪装成浏览器的爬虫。