![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 70
kisloy
爬虫工程师一枚 如遇爬虫相关问题请私聊
展开
-
【爬虫】滑块缺口识别
使用opencv识别滑块缺口 返回位移X原创 2024-07-17 11:19:25 · 1012 阅读 · 0 评论 -
【JS逆向】DOM断点
最近刷题,刷到一个页面返回的数据是加密的网站,可以通过dom断点快速定位到加密位置,特此记录一下。原创 2023-04-24 09:25:16 · 393 阅读 · 0 评论 -
五矿集团param加密定位分析
写一篇实战的逆向文章 只提供逆向思路不提供源码只可用于学习研究 禁止商用。原创 2023-04-21 16:37:39 · 494 阅读 · 4 评论 -
python OCR识别中文
今天写脚本的时候遇见了一个点选 必须破解了才能拿到详情页的信息,弄了一上去特此记录一下。原创 2023-03-31 17:07:32 · 742 阅读 · 0 评论 -
爬虫脚本ttwid参数
今天研究了搜索引擎的ttwid参数,站点其实不难 就是弄完了有点无语 特别记录一下 这个坑。原创 2022-10-09 17:37:09 · 3396 阅读 · 5 评论 -
部署到服务器上的pyppeteer定时项目
部门老大 要求使用爬虫抓取对应网站的公司账号的余额 并且能提供一个API供公司内部其他公示网站调用 原本商议每次请求都用爬虫请求一次,但是最好出于账号安全和系统稳定性考虑决定设置一个定时任务 每两个小时抓取一次 数据存放到缓存当中 但是也需要提供接口。第一个难点 需要登录 我首先想到的是逆向,抓包查看逆向登录,开发过程中途也确实是快实现了 但是奈何这个网站的参数太多而且因为整个网站采取的IFRAME标签加载的H5如果要使用requests+逆向个人感觉很麻烦。5、请求iframe的请求路径 获取到H5。原创 2022-09-26 14:41:33 · 459 阅读 · 0 评论 -
python验证码识别
这是需要处理的验证码的样子 我们需要去除干扰因素来增加OCR的识别成功率(但是最好别照着抄代码,得根据情况自己调整0首先导入需要处理的图片和需要用到的第三方库弄好了可以去除干扰线和干扰因素,但是需要注意别把字母和数字调没了处理之后你的图片只有灰色二值化处理之后非黑即白 需要自己定义全局阈值 当然你也可以选择其他模式处理完之后你会得到这样一张图片:识别结果:咱们当然不会就这样放弃了 咱们要学会下面马上介绍第二种白嫖的方法建议换源一句话搞定还不用自己训练模型 维尔古德...原创 2022-06-28 18:53:09 · 1146 阅读 · 0 评论 -
scrapy 自定义UA、代理中间件
scrapy框架自定义中间件原创 2022-06-02 16:05:41 · 642 阅读 · 0 评论 -
某翻译爬虫脚本
某翻译接口调用请求分析输入内容找到请求查看请求参数参数分析参数破解代码编写加密参数完整代码其他问题请求分析第一步,打开开发者工具;第二步在翻译窗口输入待翻译的内容;第三步查看请求输入内容找到请求首先在框内随便输入内容然后查看筛选请求 找到我们需要的接口查看请求参数参数分析“i”: 需要的翻译的内容,“from”: “AUTO”, 输入的是什么语言 这里默认AUTO就好“to”: “AUTO”, 需要翻译成什么内容 这么选择默认 也可以去页面上点击翻译为其他语言查看这原创 2022-05-27 15:36:40 · 81 阅读 · 0 评论 -
一个简单的python爬虫实例
用爬虫爬取重邮教师信息结果展示代码实现主网页分析教师界面分析主要代码分析后记结果展示由于数据量比较大,我结果只截取了一部分。代码实现import requestsfrom requests.exceptions import RequestExceptionfrom lxml import etreeimport jsonimport timedef get_url(num)...原创 2019-09-03 22:36:43 · 1367 阅读 · 0 评论 -
一个简单的Ajax加载post请求的爬虫实例)
一个简单的Ajax加载post请求的爬虫实例内容简介![在这里插入图片描述](https://img-blog.csdnimg.cn/20191023161729301.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80N...原创 2019-10-23 17:17:10 · 1740 阅读 · 0 评论