- 博客(92)
- 收藏
- 关注
RSS订阅原创 python动态导入包
在爬虫项目中，有时候一个python包下面包含很多spider.py的文件，每个文件就是一个爬虫，想要在程序运行的时候动态的进行导入，可以使用importlib是 Python 中用于动态导入模块的标准库。它提供了一种在运行时动态导入模块和获取导入模块的属性的方法。
2024-04-15 12:09:39
275
原创 怎样寻找服务器大文件的方法
解析该命令：sudo find / -type f -size +1G -exec du -h {} +服务器上安装ncdu，ncdu /目录 进入文件大小交互模式。使用方向键控制进入目录。使用find命令，从跟目录开始遍历，寻找大于1G的文件。
2023-08-01 14:02:01
697
原创 go cobra 命令行工具
cobra-cli add show 使用工具添加功能命令，可以理解成添加功能。然后我们去实现这个show的功能。可以理解成工具的介绍的一个目录，在初始化的时候可以警用complettion和添加工具版本。安装后会在GOPATH的bin目录里面有一个可执行的应用。
2023-06-14 15:17:45
100
原创 天津滑块验证码
直接请求后，源代码中搜索 pointJson 加密关键词，即可找到加密点。进入加密函数后，找到是一个标准的AES加密。滑块使用opencv进行识别。使用这个参数进行正常访问。
2023-06-09 15:32:44
151
原创 bytearray
确保使用了正确的排序规则和编码。我碰巧在我的网站数据库表中使用了UTF8MB4_BIN。把它改成了utf8mb4_general_ci，它做到了。
2023-02-12 21:31:31
70
1
原创 将vscode的快捷键修改为pycharm的
习惯了pycharm的快捷方式，找了半天将vscode的修改为pycharm的都靠谱，这里记录下，这个链接的方法成功了。
2023-01-27 13:43:34
594
2
原创 mac安装unrar解压rar的文件
网上很多都是brew install unrar来进行，但是都失败了，唯独这个链接的方法成功了，记录一下。
2023-01-27 13:40:54
1339
原创 天安保险逆向分析
加密使用AES进行加密的，CBC模式， 填充方式是 pad.Pkcs7，最后通过base64 进行编译下就拿到了登录请求的参数。登录接口这里是通过滑动滑块来发送登录请求的，直接定账号密码加密的地方，让后扣出加密的位置就行了，比较简单。
2023-01-12 11:08:36
268
原创 天津市公共资源交易平台
直接使用python，或者 js 代码 都可以，这个网站的加密就这个位置，没有注意点，直接AES就行了。这里的 ccc 就是加密的 id。这个url，点击后进入详情页。明显后面的 id 经过加密了。填充方式采用了 pkcs7。这里的 k 就是加密的密钥。然后加密模式采用了 ECB。
2023-01-11 13:06:10
203
原创 广东省公共资源交易平台逆向分析
进去直接开始扣，代码量还是比较少的，难度不大。o.data 为请求参数。l 为随机16个字符串。c 为固定的8个字符串。
2023-01-10 16:28:39
1070
3
原创 看准网逆向分析
2、解密的话，是使用加密生成的 随机16位字符串key，进行AES进行解密的。这种参数 和生成一个随机的16位字符串key，进行AES加密。分析完毕了，参数是加密的，返回结果也是加密的。1、这里直接回调栈，找到加密参数生成之前。这里 使用公司构造一个。2、请求参数也是这种。
2023-01-09 14:44:08
427
原创 python调用复杂js代码
复杂js代码使用execjs有时候会报错，这个时候需要使用node直接调用js代码。这个时候js代码中需要接受的参数应该改为下面这样。调用简单js代码直接使用 execjs。
2023-01-09 11:01:45
178
原创 安徽省政府采购网逆向分析
第二次获取的cookie有有效时间，过几分钟就要重新请求，并且获取到的cookie可以访问全部的详情页。利用这一点，我们只需要模仿浏览器不停的刷新一个页面的获取cookie来爬取整个网站的数据。**第一次请求：**获取一段混淆js代码和服务器set-cookie，这段js混淆后的js代码会自执行，并再次发送请求。**第二次请求：**这次请求需要第一次请求获取的cookie才能请求到，并返回302状态码进行重定向。经过测试，请求不能太频繁，太频繁会出现验证码，而且还会封ip ，使用一般的代理也不行。
2023-01-05 09:31:08
905
2
原创 go logrus 日志管理
使用"github.com/sirupsen/logrus"、“github.com/rifflock/lfshook”、"github.com/lestrrat-go/file-rotatelogs"三个库进行项目的日志管理"github.com/rifflock/lfshook"是一个用于将日志记录到本地文件系统的Golang库。它提供了一个钩子（hook）来扩展Golang的标准日志库，使得在日志记录时可以将日志信息写入到本地文件系统中。
2022-12-08 23:34:54
454
原创 node js AES加密
版权声明：本文为CSDN博主「夜月不挂科」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/s_crawler/article/details/107630473。原文 https://blog.csdn.net/s_crawler/article/details/107630473。...
2022-08-18 09:59:24
2225
原创 RSA--------------
原文链接RSA加密(pip install pycryptodome)总结:Pycrypto提供了比较完善的加密算法。RSA广泛用于加密与解密，还有数字签名通信领域。使用Publick/Private秘钥算法中，加密主要用对方的公钥，解密用自己的私钥。签名用自己的私钥，验签用对方的公钥。加密解密：公钥加密，私钥解密签名验签：私钥签名，公钥验签无论是加密解密还是签名验签都使用同一对秘钥对1、前言。...
2022-08-17 16:28:31
564
原创 猿人学第二十题
虽然每次请求都会更新字体文件，但是通过观察发现，每次的字体文件的坐标是不会变的。所以我们获取一个ttf文件，在本地做好映射就可以了。这里，这个是个一个base64的字符串。base64就是将二进制变成字符串的一个东西。这里直接反解一下就可以了。需要安装这个库来进行字体文件的解析。创建映射表的python代码。...
2022-07-25 18:05:03
550
3
原创 猿人学第七题
虽然每次请求都会更新字体文件，但是通过观察发现，每次的字体文件的坐标是不会变的。所以我们获取一个ttf文件，在本地做好映射就可以了。这里，这个是个一个base64的字符串。base64就是将二进制变成字符串的一个东西。这里直接反解一下就可以了。需要安装这个库来进行字体文件的解析。创建映射表的python代码。...
2022-07-22 10:35:08
359
原创 vue-router中scrollBehavior的用法
使用前端路由，当切换到新路由时，想要页面滚到顶部，或者是保持原先的滚动位置，就像重新加载页面那样。 能做到，而且更好，它让你可以自定义路由切换时页面如何滚动。注意: 这个功能只在支持 的浏览器中可用。当创建一个 Router 实例，你可以提供一个 方法：
2022-06-01 17:22:32
2320
原创 清理html中的标签
from lxml import etreeresponse = etree.HTML(text=html)print(response.xpath('string(.)'))
2022-05-31 16:24:15
169
原创 django 项目初始化
django 项目初始化文章目录django 项目初始化创建项目、应用、用户设置语言和时区设置数据库静态文件、模板路径设置替换系统User管理站点添加模型数据库迁移命令DRF安装DRF创建项目、应用、用户# 项目初始化django-admin startproject xxx# 创建应用python manage.py startapp book# 创建用户python manage.py createsuperuser创建应用后，需要到setting.py中去注册INSTALLED_
2022-05-06 17:29:33
1018
原创 a标签下载文件
var eleLink = document.createElement("a");eleLink.download = "data.xlsx";eleLink.style.display = "none";eleLink.href = ’http://127.0.0.1:download_url‘// 触发点击document.body.appendChild(eleLink);eleLink.click();// 然后移除document.body.removeChild(eleLink
2022-04-13 14:16:18
453
原创 scrapy运行多个爬虫
from scrapy.utils.project import get_project_settingsfrom scrapy.crawler import CrawlerProcessdef main(): setting = get_project_settings() process = CrawlerProcess(setting) didntWorkSpider = ['sample'] for spider_name in process.spiders
2022-03-14 18:20:39
1177
原创 docker-mongo
1.先创建俩目录 分别用于存数据文件和配置文件mkdir -p /data/docker/mongo/config mkdir -p /data/docker/mongo/db2.使用docker run 拉取并启动镜像docker run -d -p 27017:27017 -v /data/docker/mongo/config:/data/configdb -v /data/docker/mongo/db:/data/db --name mongo mongo --auth3.创建
2022-03-14 16:23:11
953
原创 docker-redis
docker 安装redis1、获取 redis 镜像docker pull redis2、查看本地镜像docker images3、从官网获取 redis.conf 配置文件cd /usr/local/docker //进入目录wget http://download.redis.io/redis-stable/redis.conf //下载redis配置文件vim redis.conf //修改配置文件bind 127.0.0.1 #注释掉这部分，这是限制redis只能本地访问pro
2022-03-14 14:55:26
88
原创 修改gerapy_selenium 添加虚拟显示浏览器
import timefrom scrapy.http import HtmlResponsefrom scrapy.utils.python import global_object_namefrom selenium.common.exceptions import TimeoutExceptionfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.wait import WebDriverWai
2022-01-21 18:45:58
7923
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人