自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 收藏
  • 关注

转载 git使用说明及命令

廖雪峰Git使用说明http://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000/通过终端生成SSHssh-keygen -t rsa 连续回车如果Mac电脑安装了Xcode,自带有Git功能配置Git(将来查看历史记录的时候会用到,注意一定要配置)git config 可以列出或修...

2018-11-05 20:00:58 142

原创 Python基于scrapy-redis部署分布式爬虫

1、

2018-09-29 20:06:54 284

原创 python分布式爬虫scrapyd部署以及gerapy的使用流程

新建虚拟环境(方便管理),也可以直接执行第一步。注意:windows系统和虚拟环境要分清,进入指定的环境下进行操作,否则会出现错误1、打开命令行工具执行pip install scrapyd2、等待安装完成 , 输入scrapyd启动scrapyd服务出现下面的内容则表明服务开启成功3、在浏览器输入127.0.0.1:6800 即可查看4、如果连接成功先关闭服务...

2018-09-28 14:29:54 618

原创 Python布隆去重

布隆去重配置步骤:1.将scrapy_redis拷贝到项目目录下2.下载pyboomfilter文件,拷贝到scrapy_redis文件夹中3.找到scrapy_redis中的dupefilter.py4.5.6.

2018-09-28 14:28:56 327

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除