- 博客(3)
- 收藏
- 关注
原创 上传代码至github-------------本地上传
安装配置好git后就可以上传代码到github了。方法如下:1. 进入需要上传的项目文件夹内,如图所示2.右键选择在终端打开。3.使用命令git init 来初始化仓库。4.使用命令git add .git commit -m ‘s’ -a来添加文件至仓库5.在你的github中新增远程仓库repository并记录git网址,本例中
2017-01-14 06:55:21 215
转载 scrapy爬虫代理——利用crawlera神器,无需再寻找代理IP
一、crawlera平台注册 首先申明,注册是免费的,使用的话除了一些特殊定制外都是free的。 1、登录其网站 https://dash.scrapinghub.com/account/signup/ 填写用户名、密码、邮箱,注册一个crawlera账号并激活 2、创建Organizations,然后添加crawlear服务然后点击
2017-01-13 11:44:38 4068
转载 如何让你的scrapy爬虫不再被ban
根据scrapy官方文档: http://doc.scrapy.org/en/master/topics/practices.html#avoiding-getting-banned里面的描述,要防止scrapy被ban,主要有以下几个策略。动态设置user agent禁用cookies设置延迟下载使用 Google cache 使用IP地址池( Tor project、VPN
2017-01-13 11:31:01 816
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人