爬虫
yaooye
这个作者很懒,什么都没留下…
展开
-
Android 7以上版本https抓包
Android 7以上的Android 系统,App默认不信任用户证书,只信任系统证书.所以,要么在App的manifest上去设置信任某个证书,要么就只能把用户证书改为系统证书了. 第一种方法需要修改应用,不够通用,第二种方法只有root的手机才可以,而且系统版本不能是Android 9系统,要不然用户证书移到系统证书目录,但是一刷新又不见了,原因不明.具体过程如下:第一步,制作证书先让手机root 使用chrome浏览器下载Charles的证书,例如文件名为: charles-proxy-s原创 2020-07-13 19:37:57 · 1521 阅读 · 1 评论 -
用frida突破SSL pinning抓包
python任意版本安装frida,手机端使用的mumu模拟器,其他的也可以pip install fridaadb 连接 mumu模拟器查看内核adb shell sucat /proc/cupinfo模拟器一般是x86居多根据cpu版本去下载相应frida-server,然后去下载https://github.com/frida/frida/releases相应的版本之后解压处理 将文件push 进 /data/local/tmp 这个目录adb push原创 2020-07-13 18:28:00 · 4708 阅读 · 0 评论 -
python关于大众点评详情页核心数据抓取
大众点评页面手机号什么的不怕你看,也没弄中间号,而是做了前端svg混淆,有俩个方法,1,截图,用OCR识别2,代码判断(本篇使用)直接上代码"""author:yaoyedate : 2019-03-20"""import requestsfrom random import choicefrom bs4 import BeautifulSoupfrom lxm...原创 2019-03-21 09:37:41 · 1303 阅读 · 0 评论 -
网易云音乐歌曲歌词下载
源码是去年用python写的,挺简单刚刚测了一下还能用import jsonimport requestsfrom random import choicefrom selenium import webdriverimport timefrom bs4 import BeautifulSoupimport reimport osfrom urllib impor...原创 2019-04-26 14:56:45 · 7022 阅读 · 0 评论 -
突破淘宝对于selenium检测
去年11月之前淘宝对于selenium还是很友好的,后来selenium被检测了window.navigator.webdriver 等参数,出滑动验证码什么的,selenium已经很难用了, 网上大片教程都使用的pyppeteer 修改检测js参数去采集, 我也用了一段时间, 但是发现chromium占用内存太高,并且pyppeteer参数方法介绍太少,用起来不舒服,本文介绍了另一种方法:使用...原创 2019-04-19 15:27:31 · 6187 阅读 · 21 评论