- 博客(4)
- 资源 (2)
- 收藏
- 关注
原创 使用scrapy-redis实现分布式爬虫
一、准备工作用来实现分布式爬虫的项目是:爬取知乎用户信息项目 注册了两个服务器:阿里云服务器和腾讯云服务器,使用的系统都是windows系统二、scrapy-redis组件的使用将知乎用户项目下载至本地,并使用git命令新建分支以方便对项目进行更改而不影响之前的项目:git checkout -b distributed #新建分支 git branch #切换分支在项目settings.py中加
2017-11-08 17:13:13 3676
原创 从Github克隆项目至本地修改的常用命令
下载项目至本地:git clone http://Github.com/xxxx/xxxx新建一个分支:git checkout -b distributed切换至新的分支:git branch将在新的分支上的修改后的项目上传至GitHub: git add A git commit -m "add distributed" git push origin distributed将新的分支上的项目下
2017-11-07 16:12:40 588
原创 将本地项目上传至Github
1、首先要注册一个Github账号 2、点击Your profile,进入到仓库管理界面,并新建一个新的仓库 3、在本地项目文件夹内右击,选择“Git Bash Here”,进入到Git命令行中执行如下命令:git init #将项目中的文件加入到git管理 git add . #将项目中的全部内容添加到git git commit -m "提交的信息"
2017-11-07 15:49:32 345
原创 使用redis数据库报错: MISCONF Redis is configured to save RDB snapshots
在使用redis数据库过程中报错: redis.clients.jedis.exceptions.JedisDataException: MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data
2017-11-07 14:51:05 488
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人