- 博客(10)
- 收藏
- 关注
RSS订阅
1原创 爬虫管理平台维护文档
爬虫管理平台维护文档节点维护1、查看节点是否在线2、 查看日否有大量待定的任务3、重启节点日常任务维护1、查看异常任务2、查看运行中爬虫3、查看运行中报错的爬虫节点维护1、查看节点是否在线2、 查看日否有大量待定的任务3、重启节点在服务（39.105）上重启相对应的节点（目前所有节点都在这一个服务器上）日常任务维护1、查看异常任务查看最近一到两天的爬虫是否有运行异常，如果有，查看运行异常原因（有一部分因为内存不足强制运行结局的可暂时忽略，后续想办法统一优化处理）2、查看运行中爬
2022-03-14 20:32:05
1359
原创 动态cookie-ob混淆
动态cookie剖析心得提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录动态cookie剖析心得前言一、动态cookie是什么？二、如何确定该网站是否是动态cookie1.浏览器清除cookie后刷新网页，监控请求状态2.直接requests请求三、如何破局1、扣js2、解析js1）格式序列化js2）查找cookie3) 改写js3、代码中修改js总结前言现在好多网站都开始使用动态cookie加载web，今天我就边写边记，带大家一起了解动态cookie，并学习如何根据其
2022-01-25 16:39:43
2045
原创 正则的基础用法
[a-z] // 匹配所有的小写字母 [A-Z] // 匹配所有的大写字母 [a-zA-Z] // 匹配所有的字母 [0-9] // 匹配所有的数字 [0-9\.\-] // 匹配所有的数字，句号和减号 [ \f\r\t\n] // 匹配所有的白字符[^a-z] //除了小写字母以外的所有字符 [^\\\/\^] //除了(\)(/)(^)之外的所有字符 [^\"\'] //除了双引号(")和单引号(')之外的所有字符^[a-zA-Z0-9_]{1,}$ // 所有包含一个以
2022-01-25 09:37:40
157
原创 xpath使用笔记
按位置序号获取列表的前三项，等价于python的[:3]//a[position()<3] 实例：table表格下 tr标签第一列无效数据info_list = response.xpath("//div[@class='east-tender']//tr[position()>1]") # 相当于[1:]子元素排在最后个位置的元素//a[last()] //a[last()-] 和上面同理，代表倒数第二个用| 连接两个表达式，可以进行 或匹配//book/title |
2022-01-13 18:05:48
368
原创 linux服务器常用命令
查看文件夹大小：du -sh查看磁盘空间：df -h查看目录下文件夹大小 ：du -h --max-depth=0 *清除临时文件：tmpreaper -afv 3 /tmp查看服务器内存：top htopdocker 保存镜像 ：docker commit d1c28d990e44 swordfish:v2docker删除镜像：docker rmi 7bae59407803docker 加载jar镜像：docker load -i ./sword.tar
2022-01-13 17:54:19
421
原创 docker常用命令集合
docker 保存镜像 ：docker commit d1c28d990e44 swordfish:v2docker删除镜像：docker rmi 7bae59407803docker 查看容器的空间docker system df -vdocker 加载jar镜像：docker load -i ./sword.tar删除所有退出状态的容器docker container prune 删除未被使用的数据卷docker volume prune 删除 dangling 或所
2022-01-13 17:52:09
293
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人