![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
未完成的梦orz
这个作者很懒,什么都没留下…
展开
-
scrapy文档学习笔记(scrapy tutorial)
Creating a projectscrapy startproject tutorialThis will create a tutorial directory with the following contents:tutorial/ scrapy.cfg # deploy configuration file tutorial/原创 2017-06-21 18:48:38 · 1304 阅读 · 0 评论 -
UnicodeEncodeError: 'ascii' codec can't encode characters in position 68-73:ordinal not in range(128
注意:使用scrapy爬取中文网站的编码错误。我的报了错UnicodeEncodeError: 'ascii' codec can't encode characters in position 68-73:ordinal not in range(128)首先通过命令import syssys.getdefaultencoding() 查看python默认的编码格式。 如果默认编码原创 2017-06-22 15:10:06 · 1385 阅读 · 0 评论 -
scrapy shell的settings user_agent问题
scrapy shell http://weibo.com scrapy shell 调试,使用xpath表达式返回不了想要的结果。 还是要修改useragent,要改成浏览器才行。要不有些伪装的好的网站虽然 response返回的200没有问题, 但是可以用response.text查看response的文本,完全不是爬取的那个网页的文本,这就是服务器知道你是爬虫,就骗你,返回了个不一致的原创 2017-07-26 18:23:24 · 740 阅读 · 0 评论 -
scrapy 爬虫过滤相同的url,Filtered duplicate request,dont_filter
yield Request('https://www.zhihu.com', meta={'cookiejar':response.meta['cookiejar']}, headers=self.headers_zhihu, callback=原创 2017-09-01 15:27:08 · 4437 阅读 · 0 评论 -
TypeError: 'ItemMeta' object does not support item assignment
File “/workspace/zhihu/zhihu/spiders/zhihuSpider.py”, line 201, in parse_follows ZhihuItem[‘url’]=url TypeError: ‘ItemMeta’ object does not support item assignment 在items.py中,ZhihuItem是一个类。要为它的某原创 2017-09-11 17:04:12 · 6568 阅读 · 0 评论