scrapy
bxprog
这个作者很懒,什么都没留下…
展开
-
scrapy包含中文字符的字段写入csv时,报错无法解析某字符
现象: 向csv文件(已经设为utf-8格式)写入标题行时,当其中有字段包含中文字符时,报错无法解析某字符原因: 该python代码文件是DOS格式,不是utf-8格式解决方法: 该代码文件另存为utf-8格式...原创 2018-07-01 13:21:31 · 351 阅读 · 0 评论 -
Git 删除远端不需要的目录
问题: 不小心把python scrapy项目里面一些不需要的目录,如所有pycache目录,提交远端,需要从git删除调查: https://stackoverflow.com/questions/7927230/remove-directory-from-remote-repository-after-adding-them-to-gitignore https://git-scm....原创 2018-06-27 08:05:42 · 2377 阅读 · 0 评论 -
Scrapy 在CentOS6.5上跑遇到DNSLookupError
问题: 爬虫代码昨天在CentOS6.5上还能跑,今天再跑却遇到DNS错误:twisted.internet.error.DNSLookupError: DNS lookup failed: no results for hostname lookup: www.mytestorg.org.cn.排查: ping www.mytestorg.org.cn 不通解决: 编辑/etc...原创 2018-07-03 08:00:18 · 2602 阅读 · 0 评论