ZeroHero99的博客

原创 如何实现Redis集群

1.什么是redis集群? Redis 是一个开源的key value 存储系统,redis3.0.0版本之前只支持单例模式,之后支持集群 Redis集群采用p2p模式,是完全去中心化的,不存在中心节点或者代理节点 去中心化:在一个分布有众多节点的系统中，每个节点都具有高度自治的特征。节点之间可以自有链接，形成新的连接单元。任何一个节点都可能成为阶段性的中心，但不具备强制性的中心控制模式。节点与...

转载 SSH远程连接时间设置

转载自： http://www.neatstudio.com/show-625-1.shtml SSH远程连接时间设置步骤： 1、回到根目录：cd // 2、进入ssh目录：cd etc/ssh 3、编辑sshd_config文件：vi sshd_config 4、按 i 进入编辑状态 5、找到属性ClientAliveInterval和ClientAliveCountMax修改连接状态规则为： ...

原创 mongodb简介，应用场景，常用命令，优缺点 （思维导图）

原创 基于数据指纹的增量式

基于数据指纹的增量式（爬取糗百文章） 详细步骤： List item（创建爬虫项目） cd 到qbArticle新建的文件夹下 scrapy startproject maomao（文件名） cd maomao scrapy genspider crawl qb www.baidu.com 建好项目后 qb.py 文件里编写具体爬虫语句 #导包：由于hashlib 是内置模块 所以要在最开头...

原创 django与scrapy交互

原创 全站式增量式数据爬取

创建爬虫文件夹及其架构 详细步骤： cd 到moviezls新建的文件夹下 scrapy startproject movies（文件名） cd movies scrapy genspider -t crawl av www.baidu.com 创建好框架后 ，在pycharm 的project interinter 配置环境 打开 av.py 编写具体爬虫语句 import scrapy f...

原创 基于crawlSpider的全站数据爬取

原创 mac 安装虚拟环境

mac 安装虚拟环境 # 安装: pip install virtualenvwrapper # 常用命令: mkvirtualenv envname # 创建虚拟环境并自动切换到该环境下 workon envname # 切换到某虚拟环境下 pip list #查看安装的包 rmvirtualenv envname # 删除虚拟环境 deactivate # 退出虚拟环境 lsvir...