- 博客(3)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 scrapy管理多个spider,共用settings问题
背景说明这段时间需要用到scrapy来获取一些数据，其中涉及到多个任务，之间对scrapy不太熟悉，于是一个任务一个scrapy，感觉对复用方面很不友好，于是我们在想，怎么在一个scrapy project中搞多个spider, 这样对各方面的复用会好很多.系统使用了redis,和kafka,代理逻辑, 还有散落在很多代码里的log 一般这种抽象，我会采用策略模式来做，同时兼顾单例，根据fl...
2018-07-20 11:29:05
6427
1
原创 用scrapyd部署scrapy项目
介绍与安装 scrapydscrapyd是一个服务器，类似于nginx,tomcat,会暴露web接口 ， 我们的scrapy爬虫类似作为一个webapp部署进来,然后通过webapi进行开启关闭等操作安装:pip install scrapyd我们部署的前提是自己已经有一个scrapy工程了,具体可参考:https://blog.csdn.net/mingover/articl...
2018-07-10 22:46:51
2620
原创 scrapy_demo获取网站信息
前段时间项目使用了scrapy,这里做个简单的demo,使用scrapy抓取下安居客的内容, 关于怎么搭建scrapy的工程，请查看https://blog.csdn.net/mingover/article/details/80717974全部源代码:https://github.com/huawumingguo/scrapy_demo分析安居客页面是否要登陆?我们...
2018-07-07 14:33:43
671
ibatis简单使用的想法
2013-07-01
几百万日志的相关统计分析
2017-12-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人