scrapy
、moddemod
这个作者很懒,什么都没留下…
展开
-
Scrapy 常用pipeline
保存到json文件 import codecs class JsonEncodingPipeline(object): def __init__(self): self.file = codecs.open("job_info.json", 'w', encoding='utf-8') self.file.write('[') def proce...原创 2019-12-14 14:56:44 · 636 阅读 · 0 评论 -
scrapy Request不进入回调函数
提示信息 通常信息如下,然后直接结束掉爬虫了… 2019-12-14 10:03:20 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://search.51job.com/list/000000,000000,0000,00,9,99,c++,2,1.html?lang=c&stype=&postchannel=00...原创 2019-12-14 10:13:56 · 761 阅读 · 0 评论 -
项目介绍
创建项目 我们可以先查看我们scrapy的安装情况! pip list 当然这条命令的前提是你已经进入了我们的虚拟环境! 在项目所在目录执行pipenv shell即可进入虚拟环境 pipenv shell 可以看到Scrapy默认给给我们安装了很多库,但是可以看到scrapy的版本是1.8。 创建一个项目 分析需求 这里我们对51job网进行职位数据爬提取 目标url:https://s...原创 2019-12-11 23:09:51 · 122 阅读 · 0 评论 -
安装配置初始化环境
安装 你可以选择pip或者pipenv方式安装,这里推荐pipenv,pipenv可参考另外一篇博客! 新建一个项目文件夹 mkdir crawler_py3 cd $_ 初始化python3环境 pipenv --three 更改源 vim Pipfile url = "https://pypi.tuna.tsinghua.edu.cn/simple" 安装scrapy,默认安装最...原创 2019-12-11 21:57:00 · 122 阅读 · 0 评论