- 博客(3)
- 资源 (1)
- 收藏
- 关注
原创 操作纪录 | 上传代码到github
新工程要上传代码到github,repository已经创建好。 删空本地文件夹将服务器端的repository下载下来再拷贝文件进去上传
2017-10-06 15:56:02 277
原创 linux系统下scrapy爬虫自动筛选代理IP
爬虫往往要用到多个IP切换。而各代理网站的免费IP大多数都是无效的。一个个手工试是不可能的任务,我们就用爬虫来爬,并设置定时任务自动调度执行。文中的工程采用scrapy来写爬虫,使用scrapy_proxies调度使用获取到的IP(用法详见链接中的说明),定义了crawlall的命令来同时执行所有的爬虫。完整代码:https://github.com/dodolo-cc/proxy
2017-10-06 10:03:26 1057
原创 操作纪录 | github注册和windows版git客户端设置
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-09-20 11:50:32 275
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人