- 博客(5)
- 收藏
- 关注
RSS订阅
原创 用scrapy框架下载图片时可能存在的问题
保证你的爬虫可以爬出正常的数据，一定要注意路径的格式。把图片的路径存放在items中。注意一定要是列表的格式。如图：配置settings文件中的内容。如图：...
2018-12-10 19:42:30
1334
原创 gerapy使用指南
##Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发，Gerapy 可以帮助我们方便快捷的管理我们的爬虫等。其实它还有写代码的功能，但是我觉得并没有什么用。1）安装gerapy使用pip协...
2018-11-12 20:33:59
975
1
原创 scrapyd windows环境下安装和使用
scrapyd安装打开命令行工具输入命令：pip install scrapyd##启动scrapyd服务在浏览器中输入127.0.0.1:6800如图启动成功关闭服务，新建一个文件夹(名字自定义但是建议起名与scrapyd有关系，方便记忆)，进入该文件夹，在该路径下打开命令行工具，输入：scrapyd 命令并执行会多出一个abs的空文件夹，用来存放爬虫项目的数据文件。如图：...
2018-09-29 21:34:10
2376
原创 redis部署
redis简介官网链接：redis官网redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与me...
2018-09-29 20:16:21
253
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人