- 博客(6)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Scrapy 中的 MongoDB 安装、使用、可视化入门
MongoDB 的安装https://www.mongodb.org/downloadsmkdir datamongod --dbpath ./dataMongoDB 的可视化插件安装https://www.mongovue.com/pymongo 的安装pip install pymongo或easy_install pymongo在程序中使用的代码骗
2016-04-19 10:03:32
1479
原创 scrapy的redis安装和配置
在定向爬虫的制作过程中，使用分布式爬取技术可以显著提高爬取效率。而 Redis 配合 Scrapy 是实现分布式爬取的基础。Redis 是一个高性能的 Key-Value 数据库，它把数据保存在内存里。因此可以有非常快的数据读写速度。scrapy-redis 的安装pip install scrapy-rediseasy_install scrapy-redis下载ht
2016-04-19 09:39:12
4308
1
原创 基于scrapy的挖掘系统所需环境汇总
基于scrapy的挖掘系统所需环境汇总传送门会慢慢编辑，由于分布式部署前期使用Ubuntu 14.04 LTS desktop 作为开发的桌面级操作系统， 有一些基础系统自带类库将不在该汇总中。持续更新中。。。一、相关软件jdkmysql php pythonpipeasy installdocker二、挖掘系统软件scrapy scrapyd selen
2016-04-15 09:52:09
526
原创 在Mac上快速安装Scrapy，一键安装工具（不分别安装scrapy和twisted）
新配置了iMac 27，准备以它为主要的工作平台并控制分布式爬虫 总是在不同的设备上配置scrapy，于是需要一些较为快捷的方案1.安装conda工具Anaconda for OS X python 2.7 64-bit如果使用的是别的操作系统（Windows或者Linux）请进入官网下载页面选择想对应的系统位数以及版本进行下载我使用的是Python 2.7:b
2016-04-11 09:52:37
2574
原创 Windows不重装系统，使用分区助手分区
写给父亲Windows不重装系统，使用分区助手分区1. 分区助手下载地址2.下载完成后，官方使用手册3.操作提要： 右键点选需要调整和移动的硬盘区域，进行相关需要的调整、合并等操作，完成后点击左上角的提交按钮进行全部的分区操作。
2016-04-11 08:39:25
2761
原创 scrapyd的安装
我使用的环境是Ubuntu 14.04 LTSscrapy的环境安装和scrapy的安装在这里不再赘述一、安装scrapydpip install scrapyd二、安装 scrapyd-clientwget https://github.com/scrapy/scrapyd-client/archive/master.zipunzip ma
2016-04-07 09:54:57
1857
python3 使用 thrift 操作hbase 安装hbase-thirft后有一个Hbase报错
2017-11-16
代码如下 请问我函数里的打印长度为什么为0和main中的长度为10不一样
2015-08-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人