scrapy
文章平均质量分 81
KDF5000
热爱互联网热爱IT
展开
-
Ubuntu下Scrapy的安装
最近在学习爬虫,早就听说Python写爬虫极爽(貌似pythoner说python都爽,不过也确实,python的类库非常丰富,不用重复造轮子),还有一个强大的框架Scrapy,于是决定尝试一下。要想使用Scrapy第一件事,当然是安装Scrapy,尝试了Windows和Ubuntu的安装,本文先讲一下 Ubuntu的安装,比Windows的安装简单太多了。。。抽时间也会详细介绍一下怎么在Windo原创 2015-08-23 23:47:19 · 1284 阅读 · 0 评论 -
Ubuntu 14.04 安装图形监控工具Graphite
什么是graphite?先看看百度百科是怎么介绍 Graphite 是一个Python写的web应用,采用django框架,Graphite用来进行收集服务器所有的即时状态,用户请求信息,Memcached命中率,RabbitMQ消息服务器的状态,Unix操作系统的负载状态,Graphite服务器大约每分钟需要有4800次更新操作,Graphite采用简单的文本协议和绘图功能可以方便地使用在任何原创 2015-08-28 15:09:48 · 2427 阅读 · 0 评论 -
分布式爬虫
RSpider一个基于scrapy-redis的分布式爬虫模板,在scrapy-redis自带的example的基础上进行修改,添加在实际爬取过程中大部分爬虫可能用到的功能,使的构建分布式爬虫更加的简单。 scrapy-redis: https://github.com/darkrho/scrapy-redis安装RedisWindowsRedis官网没有windows的安装程序,但是微软的MsO原创 2015-08-28 15:13:17 · 2635 阅读 · 0 评论