qq_27109535的博客

Airtest使用的poco方法比较慢，寻找差不多一周，看完这篇文章能节省一周时间，希望帮到大家。使用页面规律，要找到每条数据的附近规律（一般是图像规律），使用find_python最大的优势是车轮（第三方库），不用我们去扣代码，上面的解决办法借助了ocr，我们一直应用于验证码识别，当然这种识别正确率达不到100%，要想提高正确率，借助于谷歌这些大平台服务，收费的服务也很棒，正确率确实高，上面的代码是借助于免费的第三方库，也觉得够用，当然大家有更好的办法，欢迎大家评论转发交流，一起共享更好的技术。

App爬虫之强大的Airtest的操作总结。

app逆向时，参数与函数的确定很关键，找到可疑的函数，不确定是否由该函数生成，该怎么解决？hook就应允而生了，首先是要求本地电脑和安卓模拟器（网易mumu模拟器支持多系统，该模拟器作为主流）或真机的连接，无论是网易mumu模拟器还是真机都要取得超级权限（root），用两者的区别在于是否java函数中调用c，java函数中调用c就用真机。adb连接安卓模拟器或真机hook参数加密详细过程（frida）

Unexpected fatal error while intitailizing Python runtime报错初始化Python运行时时发生意外致命错误。请运行idapyswitch以确认或更改已使用的Python运行时

配置python查看网易模拟器app反编译函数hook。

【代码】python爬虫网页和app逆向过程中的生成时间参考。

逆向的过程中，如果看到的AES，一定要去找：key、iv大家还有什么加密算法更好的加强版，欢迎留言讨论。

爬虫协程出现RuntimeError: Event loop is closed

爬虫app中sdk命令大全31-36

解决SDK Manager.exe运行后界面没有缺少选项，只有tools和Extras两个选项：遇到相同的问题可以作为参考

win10中sdk安装详细过程

win10中jdk安装详细安装过程

代码】爬虫请求头加引号。

夜神模拟器安装fiddler证书。

pycharm关于第三方库操作大全

浏览器docker-toolbox无法下载？？？等差不多五分钟就下载下来了。

WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ProxyError('Cannot connect to proxy.', timeout('_ssl.c:1114: The handshake operation timed out'))': /simple/mitmproxy/

fiddler抓取HTTPS数据失败，全部显示tunnelto…443，Host443。

电脑命令行安装夜神模拟器app。注意app名是复制，防止出错。下载安装包存放在路径。cmd先定位到改路径。

检查夜神模拟器与电脑是否连接？

爬虫免费Charles使用教程网盘下载地址](https://pan.baidu.com/s/1Pub5dVrNVRr6tW1-nuyeUA#list/path=/)4.替换掉原文件夹里的charles.jarWindows替换路径: C:\Program Files\Charles\lib\charles.jarMac替换路径: /Applications/Ch

解决user installations are disabled via policy on the machine错误（charles安装报的错误）

爬虫存为多级嵌套JSON文件总结

问题TabError: inconsistent use of tabs and spaces in indentation

大数据采集存为多级嵌套json文件总结，网上的教程都是单层，让采集数据存为json多级嵌套成为一大障碍，我在项目中也碰到相同的问题，网上到处找文章和相关的人员，通过几天的努力总算搞定了，现在梳理一下思路，发布出来，希望帮到更多的同行业人员及学生，只作为参考，禁止用于商业教程，相关人员可以免费学习，快乐你我他，来个点赞加关注及收藏，不然想看时找不见了。有相关问题可以评论。个人博客中有相关教程，欢迎大家查看。网页被官方下料，查看我的知乎网站有相关文章https://zhuanlan.zhihu.com/p/5

大数据采集存为多级嵌套json文件总结，网上的教程都是单层，让采集数据存为json多级嵌套成为一大障碍，我在项目中也碰到相同的问题，网上到处找文章和相关的人员，通过几天的努力总算搞定了，现在梳理一下思路，发布出来，希望帮到更多的同行业人员及学生，只作为参考，禁止用于商业教程，相关人员可以免费学习，快乐你我他，来个点赞加关注及收藏，不然想看时找不见了。有相关问题可以评论。个人博客中有相关教程，欢迎大家查看。...

写入保存文件时出现错误TypeError: a bytes-like object is required, not 'str'

数据采集遇到UnicodeEncodeError: ‘gbk‘ codec can‘t encode character问题

NameError: name 'reload' is not defined

scrapy中修改爬取数据的输出编码格式

随着大数据价值的提升，数据采集和爬虫已成为获取真实数据主要的来源，Scrapy是用python开发的一个应用程序框架，用于对网站进行爬取和提取结构化数据，这些结构化的数据可用于数据数据分析等。...

python 多进程存为csv案例，直接在项目中应用

scrapy反爬虫与反反爬虫文章比较多，都简谈不全，现在搜集好多资料，梳理一下思路，总结了一下内容。

好多小伙伴在Scrapy伪装成随机浏览器时，学习伪装浏览器但没开启中间件。现在博主利用空闲时间现在出个完整的教程。

scrapy框架中run文件

scrapy框架详情页中多字段提取实现过程

Scrapy中的settings配置文件多个版本的参数详解

- requests——最普遍使用的爬虫库- you_get——最受欢迎的爬虫库- autoscraper——最智能的爬虫库- urllib——最底层的爬虫库- Httpx ——支持异步与Http2.0协议的爬虫库

pycharm导入库时红色波浪线的解决方案

爬虫响应json总结笔记