ZeroHero99的博客

原创 如何实现Redis集群

1.什么是redis集群?Redis 是一个开源的key value 存储系统,redis3.0.0版本之前只支持单例模式,之后支持集群Redis集群采用p2p模式,是完全去中心化的,不存在中心节点或者代理节点去中心化:在一个分布有众多节点的系统中，每个节点都具有高度自治的特征。节点之间可以自有链接，形成新的连接单元。任何一个节点都可能成为阶段性的中心，但不具备强制性的中心控制模式。节点与...

转载 SSH远程连接时间设置

转载自：http://www.neatstudio.com/show-625-1.shtmlSSH远程连接时间设置步骤：1、回到根目录：cd //2、进入ssh目录：cd etc/ssh3、编辑sshd_config文件：vi sshd_config4、按 i 进入编辑状态5、找到属性ClientAliveInterval和ClientAliveCountMax修改连接状态规则为：...

原创 mongodb简介，应用场景，常用命令，优缺点 （思维导图）

原创 基于数据指纹的增量式

基于数据指纹的增量式（爬取糗百文章）详细步骤：List item（创建爬虫项目）cd 到qbArticle新建的文件夹下scrapy startproject maomao（文件名）cd maomaoscrapy genspider crawl qb www.baidu.com建好项目后qb.py 文件里编写具体爬虫语句#导包：由于hashlib 是内置模块 所以要在最开头...

原创 django与scrapy交互

原创 全站式增量式数据爬取

创建爬虫文件夹及其架构详细步骤：cd 到moviezls新建的文件夹下scrapy startproject movies（文件名）cd moviesscrapy genspider -t crawl av www.baidu.com创建好框架后 ，在pycharm 的project interinter 配置环境打开 av.py 编写具体爬虫语句import scrapyf...

原创 基于crawlSpider的全站数据爬取

原创 mac 安装虚拟环境

mac 安装虚拟环境# 安装:pip install virtualenvwrapper# 常用命令:mkvirtualenv envname # 创建虚拟环境并自动切换到该环境下workon envname # 切换到某虚拟环境下pip list #查看安装的包rmvirtualenv envname # 删除虚拟环境deactivate # 退出虚拟环境lsvir...