- 博客(5)
- 收藏
- 关注
RSS订阅转载 数据写入csv
import csv data_list = [] for tr in tr_list: lt = [] lt.append(tr.xpath('//td[1]/text()')[0]) lt.append(tr.xpath('//td[2]/text()')[0]) lt.append(tr.xpath('//td[3]/text...
2019-09-20 16:49:00
209
转载 scrapy中使用代理
tip: 大致思路：从网络（URL：http://ip.jiangxianli.com/api/proxy_ips）获取代理ip以及端口，存到列表；随机一个数从列表中取一个ip，设置超市时间以及次数；捕获异常，从列表中删除无用的ip代理并设置新的ip代理 settings.py中还要开启下载中间件 DOWNLOADER_MIDDLEWARES = { 'tianmao....
2019-09-18 04:17:00
386
转载 scrapy中把数据写入mongodb
1.setting.py中打开管道 ITEM_PIPELINES = { # 'tianmao.pipelines.TianmaoPipeline': 300, } 2.setting.py中写入mongodb配置 # mongodb HOST = "127.0.0.1" # 服务器地址 PORT = 27017 # mongo默认端口号 USER ...
2019-09-18 04:08:00
435
转载 scrapy从命令行传值
1.新建文件run.py from scrapy.cmdline import execute # tmall：爬虫的名字 # pro=男装为需要传入的参数值 execute(['scrapy', 'crawl', 'tmall', '-a', 'pro=男装', '--nolog']) # 下面是无参数用法 # execute(['scrapy', 'cra...
2019-09-18 04:02:00
206
转载 ssh密钥登陆服务器并禁止root密码登陆
1.客户端生成密钥 ssh-keygen 2.将公钥copy到服务器 ssh-copy-id root@IP地址 之后会让输入服务器的登陆密码 3.登陆服务器 ssh root@IP地址 4.修改文件 vi /etc/ssh/sshd_config PubkeyAuthentication yes AuthorizedKeys...
2019-09-16 20:21:00
163
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人