![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据采集
大数据采集及分析RPA
爬虫网页和app数据采集和大数据BI分析,RPA自动化同行业的人,一起学习交流,也可接单子,有需要的私聊
展开
-
python一张大图找小图的个数
python一张大图找小图的个数。原创 2024-03-05 19:20:17 · 563 阅读 · 1 评论 -
Airtest 点击按钮前后两张图片的相似度,判断按钮是否可以被点击
Airtest 点击按钮前后两张图片的相似度,判断按钮是否可以被点击。Airtest 点击按钮后两张图片的相似度大于90%原创 2023-11-17 15:54:37 · 289 阅读 · 0 评论 -
Airtest实现在手机界面快速批量采集数据
Airtest使用的poco方法比较慢,寻找差不多一周,看完这篇文章能节省一周时间,希望帮到大家。使用页面规律,要找到每条数据的附近规律(一般是图像规律),使用find_python最大的优势是车轮(第三方库),不用我们去扣代码,上面的解决办法借助了ocr,我们一直应用于验证码识别,当然这种识别正确率达不到100%,要想提高正确率,借助于谷歌这些大平台服务,收费的服务也很棒,正确率确实高,上面的代码是借助于免费的第三方库,也觉得够用,当然大家有更好的办法,欢迎大家评论转发交流,一起共享更好的技术。原创 2024-02-08 02:14:41 · 530 阅读 · 1 评论 -
python判断图片主颜色
做自动化测试的朋友肯定遇到好多次,按钮属性无法判别时,就需要自己将app选项颜色进行判断。网上大多数方案:通过图片AI识别,识别精度再高也不能到达百分百。就会识别错误几个选项,导致大批量的测试失败几次。在网上查了好多的资料,发现都转换为RGB值,然后就不好判断了,因为自己项目中要用,就赶快写一个HSV判断图片主颜色,这个方案仅供大家参考学习,如果有不当之处,请多多包含。修改其中的一些代码放在自己项目中,希望可以帮到小伙伴。决定用RGB值判断图片主颜色,结果发现颜色模型太复杂,太烧脑细胞,果断放弃。原创 2023-11-03 02:06:54 · 525 阅读 · 4 评论 -
App爬虫之强大的Airtest的操作总结
App爬虫之强大的Airtest的操作总结。原创 2023-10-20 11:08:04 · 1601 阅读 · 2 评论 -
adb连接安卓模拟器或真机hook参数加密详细过程(frida)
app逆向时,参数与函数的确定很关键,找到可疑的函数,不确定是否由该函数生成,该怎么解决?hook就应允而生了,首先是要求本地电脑和安卓模拟器(网易mumu模拟器支持多系统,该模拟器作为主流)或真机的连接,无论是网易mumu模拟器还是真机都要取得超级权限(root),用两者的区别在于是否java函数中调用c,java函数中调用c就用真机。adb连接安卓模拟器或真机hook参数加密详细过程(frida)原创 2023-07-07 20:32:53 · 2205 阅读 · 0 评论 -
Unexpected fatal error while intitailizing Python runtime报错
Unexpected fatal error while intitailizing Python runtime报错初始化Python运行时时发生意外致命错误。请运行idapyswitch以确认或更改已使用的Python运行时原创 2023-03-12 17:19:26 · 1347 阅读 · 1 评论 -
配置python查看网易模拟器app反编译函数hook
配置python查看网易模拟器app反编译函数hook。原创 2023-03-10 23:30:36 · 208 阅读 · 0 评论 -
python爬虫网页和app逆向过程中的生成时间参考
【代码】python爬虫网页和app逆向过程中的生成时间参考。原创 2023-03-04 19:24:04 · 496 阅读 · 0 评论 -
爬虫逆向AES加密基础版本和加强版参考
逆向的过程中,如果看到的AES,一定要去找:key、iv大家还有什么加密算法更好的加强版,欢迎留言讨论。原创 2023-02-14 00:21:00 · 546 阅读 · 0 评论 -
解决UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\ufeff‘ in position 0???
解决UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\ufeff’ in position 0: illegal multibyte sequence。在代码with open或open中添加编码。原创 2022-10-10 23:54:19 · 2388 阅读 · 0 评论 -
python文件中各时长为秒求和并转换为时分秒
文件中各时长为秒求和并转换为时分秒。原创 2022-09-02 13:45:21 · 339 阅读 · 0 评论 -
python中大批量m3u8文件合并总结
该函数合并,适应于大批量m3u8文本合并m3u8文件合并m3u8文件函数实现如下。原创 2022-09-02 12:15:16 · 1589 阅读 · 1 评论 -
pycharm运行os.system出现�����ڲ����ⲿ���Ҳ���ǿ����еij��� ���������ļ���
pycharm运行出现�����ڲ����ⲿ���Ҳ���ǿ����еij��� ���������ļ���。os.system运行其他脚本文件时报的错,原创 2022-09-02 11:07:02 · 1910 阅读 · 0 评论 -
爬虫m3u8标签与属性总结
爬虫m3u8标签与属性总结。原创 2022-09-02 09:42:32 · 1832 阅读 · 0 评论 -
爬虫协程出现RuntimeError: Event loop is closed
爬虫协程出现RuntimeError: Event loop is closed原创 2022-09-01 17:30:20 · 389 阅读 · 0 评论 -
python中时间模块datetime总结
python中时间模块datetime总结原创 2022-08-28 17:42:53 · 428 阅读 · 0 评论 -
爬虫app中sdk命令大全31-36
爬虫app中sdk命令大全31-36原创 2022-07-22 11:55:37 · 415 阅读 · 0 评论 -
解决SDK Manager.exe运行后界面没有缺少选项,只有tools和Extras两个选项:遇到相同的问题可以作为参考
解决SDK Manager.exe运行后界面没有缺少选项,只有tools和Extras两个选项:遇到相同的问题可以作为参考原创 2022-07-21 23:46:09 · 560 阅读 · 1 评论 -
win10免费sdk安装详细过程
win10中sdk安装详细过程原创 2022-07-21 00:31:28 · 4845 阅读 · 2 评论 -
win10中jdk安装详细安装过程
win10中jdk安装详细安装过程原创 2022-07-20 22:54:31 · 1376 阅读 · 1 评论 -
爬虫请求头加引号
代码】爬虫请求头加引号。原创 2022-07-20 18:45:30 · 195 阅读 · 0 评论 -
夜神模拟器安装fiddler证书
夜神模拟器安装fiddler证书。原创 2022-07-20 17:38:23 · 2056 阅读 · 1 评论 -
pycharm关于第三方库操作大全
pycharm关于第三方库操作大全原创 2022-07-20 10:58:01 · 2021 阅读 · 0 评论 -
浏览器docker-toolbox无法下载???
浏览器docker-toolbox无法下载???等差不多五分钟就下载下来了。原创 2022-07-19 17:51:34 · 219 阅读 · 0 评论 -
pycharm安装mitmproxy报错 WARNIN: Retrying (Retry(total=4, connect=None, read=None
WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ProxyError('Cannot connect to proxy.', timeout('_ssl.c:1114: The handshake operation timed out'))': /simple/mitmproxy/原创 2022-07-19 10:15:35 · 373 阅读 · 0 评论 -
fidder出现443的解决Host: notify.bugsnag.com:443
fiddler抓取HTTPS数据失败,全部显示tunnelto…443,Host443。原创 2022-07-18 12:26:04 · 709 阅读 · 1 评论 -
电脑命令行安装夜神模拟器app
电脑命令行安装夜神模拟器app。注意app名是复制,防止出错。下载安装包存放在路径。cmd先定位到改路径。原创 2022-07-17 17:46:23 · 285 阅读 · 0 评论 -
检查夜神模拟器与电脑是否连接?
检查夜神模拟器与电脑是否连接?原创 2022-07-17 17:31:29 · 282 阅读 · 0 评论 -
爬虫免费Charles使用教程
爬虫免费Charles使用教程网盘下载地址](https://pan.baidu.com/s/1Pub5dVrNVRr6tW1-nuyeUA#list/path=/)4.替换掉原文件夹里的charles.jarWindows替换路径: C:\Program Files\Charles\lib\charles.jarMac替换路径: /Applications/Ch原创 2022-07-14 16:48:42 · 707 阅读 · 0 评论 -
解决user installations are disabled via policy on the machine错误
解决user installations are disabled via policy on the machine错误(charles安装报的错误)原创 2022-07-13 23:45:40 · 8313 阅读 · 3 评论 -
爬虫存为多级嵌套JSON文件总结
爬虫存为多级嵌套JSON文件总结原创 2022-07-12 22:14:46 · 323 阅读 · 0 评论 -
问题TabError: inconsistent use of tabs and spaces in indentation
问题TabError: inconsistent use of tabs and spaces in indentation原创 2022-07-12 17:23:21 · 78 阅读 · 0 评论 -
大数据采集存为多级嵌套json文件总结
大数据采集存为多级嵌套json文件总结,网上的教程都是单层,让采集数据存为json多级嵌套成为一大障碍,我在项目中也碰到相同的问题,网上到处找文章和相关的人员,通过几天的努力总算搞定了,现在梳理一下思路,发布出来,希望帮到更多的同行业人员及学生,只作为参考,禁止用于商业教程,相关人员可以免费学习,快乐你我他,来个点赞加关注及收藏,不然想看时找不见了。有相关问题可以评论。个人博客中有相关教程,欢迎大家查看。网页被官方下料,查看我的知乎网站有相关文章https://zhuanlan.zhihu.com/p/5原创 2022-07-12 15:37:30 · 236 阅读 · 1 评论 -
爬虫存为嵌套json总结
大数据采集存为多级嵌套json文件总结,网上的教程都是单层,让采集数据存为json多级嵌套成为一大障碍,我在项目中也碰到相同的问题,网上到处找文章和相关的人员,通过几天的努力总算搞定了,现在梳理一下思路,发布出来,希望帮到更多的同行业人员及学生,只作为参考,禁止用于商业教程,相关人员可以免费学习,快乐你我他,来个点赞加关注及收藏,不然想看时找不见了。有相关问题可以评论。个人博客中有相关教程,欢迎大家查看。...原创 2022-07-11 17:00:26 · 197 阅读 · 2 评论 -
写入保存文件时出现错误TypeError: a bytes-like object is required, not ‘str‘
写入保存文件时出现错误TypeError: a bytes-like object is required, not 'str'原创 2022-07-11 16:43:02 · 258 阅读 · 0 评论 -
数据采集遇到UnicodeEncodeError: ‘gbk‘ codec can‘t encode character问题
数据采集遇到UnicodeEncodeError: ‘gbk‘ codec can‘t encode character问题原创 2022-07-11 15:01:04 · 192 阅读 · 0 评论 -
NameError: name ‘reload‘ is not defined
NameError: name 'reload' is not defined原创 2022-07-11 00:08:47 · 655 阅读 · 0 评论 -
scrapy中修改爬取数据的输出编码格式
scrapy中修改爬取数据的输出编码格式原创 2022-07-10 23:26:14 · 541 阅读 · 0 评论 -
功能强大的Scrapy (网络爬虫框架)总结
随着大数据价值的提升,数据采集和爬虫已成为获取真实数据主要的来源,Scrapy是用python开发的一个应用程序框架,用于对网站进行爬取和提取结构化数据,这些结构化的数据可用于数据数据分析等。...原创 2022-07-10 19:05:43 · 756 阅读 · 0 评论