qq_37799799的博客

npm install --save @types/frida-gum

关于初学爬虫的一个小助力许多人在刚开始接触爬虫时，对于请求的头部，也就是User-Agent需要每次都去复制抓包中的或者搜索一个。其实python中有一个第三方标准库，可以省去不少事，有人知道，也有人不知道，简单的介绍一下用法。这个就是fake_useragentfrom fake_useragent import UserAgent,FakeUserAgentErrorua = UserAgent()headers = {"User-Agent": ua.random} print(head

加密与解密使用同一个密钥的加密方式叫做对称加密，使用不同密钥加密的是非对称加密。相对于非对称加密来说，对称加密的速度更快。适合大量数据加密的场景。常见的对称加密算法有：DES、3DES、BLOWFISH、RC5和AES等。目前应用广泛强度最高的是AES。加密过程：输入明文 —> AES加密算法 ---->输出密文| ||| |密钥key || || |

资源下载阶段经常出现中断或失败等问题【方案：将资源下载及相关处理从爬取过程中独立出来，方便任务重跑】虽然是不同平台，但是重复资源太多，特别是视频网站 【方案：资源下载前根据title匹配，完全匹配则过滤，省下了多余的下载时间消耗】大量爬取过程中，会遇到ip被封的情况。【方案：动态 ip 代理】大型视频网站资源获取规则频繁替换（加密，视频切割，防盗链等），开发维护成本高 。【方案：you-get三方库，该库支持大量的主流视频网站的爬取，大大减少开发维护成本】app相关爬取被加密【方案：反编译.