- 博客(5)
- 资源 (5)
- 收藏
- 关注
原创 Linux统计文件夹、文件数量的命令
查看当前目录下的文件数量(不包含子目录中的文件)ls -l|grep "^-"| wc -l查看当前目录下的文件数量(包含子目录中的文件) 注意:R,代表子目录ls -lR|grep "^-"| wc -l查看当前目录下的文件夹目录个数(不包含子目录中的目录),同上述理,如果需要查看子目录的,加上Rls -l|grep "^d"| wc -l查询当前路径下的指定
2018-02-05 19:10:54 564
原创 SSH 无密码登录 Linux
SSH Key的知识Linux系统有一个钥匙环(keyring)的管理程序.钥匙环受到用户登录密码的保护.当你登录Linux系统时,会自动解开钥匙环的密码,从而可访问钥匙环.SSH的密钥和公钥也存储在钥匙环.所以初次使用SSH密钥登录远程Linux服务器时需要输入一次SSH密钥的密码.而将来使用SSH密钥登录时不再输入密码.Ubuntu的钥匙环程序是seahorse.SSH密钥就好比是你的
2018-02-05 18:57:43 882
原创 requests 登陆的几种方法
一、通过账户名和密码登陆访问formData={'username':'*****', 'password':'*****'} #需要带 cookies,则带上 cookies res = req.post(url, data=formData, cookies=cookies, headers=headers) 二、通过cookie来访问 从浏览器中获
2018-02-01 18:49:49 1732
原创 在scrapy中,不过滤重复的请求
Scrapy提供了一个内置的重复请求过滤器,用于根据网址过滤重复的请求。可以根据业务需求制定规则过滤重复的请求基于url过滤重复的请求假设已访问过http:://www.abc.com/p/xyz.html?id=1234&refer=4567我想做的是过滤请求,如:http:://www.abc.com/p/xyz.html?id=1234&refer=5678通
2018-02-01 18:37:12 7068
原创 爬虫请求并保存图片
requests 模块的用法 pic_res = requests.get(url, cookies=cookies, headers=headers)with open('tmp.jpg', 'wb') as file: file.write(pic_res.content)Scrapy 框架 request 用法def start_requests(self):
2018-02-01 18:22:16 1463
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人