爬虫
看见我书了吗
看见我个人简介了吗
展开
-
ja3指纹 笔记
ja3指纹是怎么实现的?该如何绕过?原创 2022-12-12 15:56:35 · 1340 阅读 · 0 评论 -
风控 笔记
了解设备指纹很重要原创 2022-08-04 12:47:58 · 137 阅读 · 0 评论 -
autojs笔记
hamibot自动化原创 2022-07-26 13:44:47 · 1056 阅读 · 0 评论 -
mitmproxy笔记
mitmproxy证书在http://mitm.it下载, 或者在~/.mitmproxy/ubuntu安装mitmproxy.可以到官网下载二进制文件.pip安装出了问题.Firfox和Chrome有各自独立的证书库, 与系统证书无关.证书已添加到系统证书, requests设置mitmproxy提示SSLError,requests信任哪里的证书呢?ubuntu 添加信任证书...............原创 2022-02-22 18:23:30 · 584 阅读 · 0 评论 -
python requests session设置代理
session底层使用同一tcp连接, 但如果加上代理就不一定了原创 2022-05-17 11:37:35 · 4454 阅读 · 0 评论 -
Protocol Buffers笔记
逆向Protocol Buffers协议,总结一些小工具。原创 2022-03-02 16:04:26 · 488 阅读 · 0 评论 -
selenium + Firefox browser.page_source报错
def get_page_source(self): try: return self.browser.page_source except InvalidArgumentException: escape_html = self.browser.execute_script("return escape(document.documentElement.outerHTML)") return execjs.eval(f"unescape('{原创 2020-11-06 15:09:04 · 489 阅读 · 0 评论 -
Postman同步浏览器Cookies
注意:‘www’要去掉原创 2020-10-09 17:21:42 · 1354 阅读 · 0 评论 -
Splash学习笔记
Splash文档:https://splash.readthedocs.io/en/stable/scripting-ref.html?highlight=proxy#splash-on-requestSplash中文文档:https://splash-cn-doc.readthedocs.io/zh_CN/latest/at-last.htmlSplash使用手册https://blog.zhangkunzhi.com/2019/04/21/Splash%E4%BD%BF%E7%94%A8%E6原创 2020-09-16 19:52:17 · 357 阅读 · 0 评论 -
Scrapy学习笔记
cd tutorialscrapy genspider quotes quotes.toscrape.comscrapy crawl quotesscrapy crawl quotes -o quotes.jl(.jsonlines .csv .xml)原创 2020-09-16 18:26:59 · 134 阅读 · 0 评论 -
Appium如何关闭APP?
Appium如何关闭APP?百度搜了好多,driver.close(), driver.closeApp(), driver.quit(),这些都无法实现。使用dir函数查看一下driver都有哪些方法哩dir(driver)输出:['AC_OFF', 'AC_ON', '__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__enter__', '__eq__', '__exit__', '__format__', '__原创 2020-07-07 18:05:53 · 3663 阅读 · 2 评论 -
CSDN定时签到程序
CSDN签到界面,https://i.csdn.net/#/uc/reward按F12打开开发者调试工具,点击Network界面,点击签到,出现以下数据包:原创 2020-06-21 23:20:02 · 901 阅读 · 2 评论 -
【Python爬虫】HTML文本的各种转化
HTML文本的各种转化:输出结果:----------------------------------原始字符--------------------------------------<html> <body> 中文 </body></html>-----------------------------...原创 2020-02-28 23:00:06 · 3975 阅读 · 0 评论 -
怎么看<Element xxx at xxxxxx>的源码、属性
抓出来的<Element xxx at xxxxxx>是什么?它其实是<class ‘lxml.etree._Element’>,可以用tostring()方法获取它的源码,可以用/@src获取它的属性举例说明:import lxmlfrom lxml import etreepage = ''' 此处省略 '''html = etree....原创 2020-02-24 23:58:53 · 4082 阅读 · 0 评论 -
Appium连接逍遥模拟器,解决Timing Out
个人经历:Appium连接逍遥模拟器比起夜神模拟器的过程比较曲折,坑比较多,首先,逍遥模拟器是android5.1.1版本,这个版本和appium好像不兼容,反正我是没成功过(夜神也是5.1.1,但可以连),后来我把逍遥升级到7.1.2版本就可以了。首先,打开你的Android Studio的SDK,把Sdk\platform-tools路径下的adb.exe复制到逍遥模拟器的文件夹下(比如我...原创 2020-02-03 22:40:18 · 33264 阅读 · 2 评论 -
Appium连接夜神模拟器
将夜神模拟器的nox_adb.exe所在路径添加到系统环境变量Path中,比如我的是 F:\YeShenMonitor\Nox\bin;启动cmd,输入 nox_adb connect 127.0.0.1:62001(62001是夜神模拟器所使用的端口)然后输入 nox_adb devices -l 查看连接的设备可以在模拟器中打开app,然后再cmd中使用 adb shell d...原创 2020-02-03 19:43:18 · 7695 阅读 · 0 评论 -
Charles 手机设置代理后电脑没有弹出allow或者deny的界面
Charles + Win10 + Android2020年-01-29:折腾了两天,终于找到问题所在了①确保手机和电脑出在同一局域网,并不是连同一wifi就行了,而是要能相互ping通的那种!!(我家wifi ping不同,没办法连接,花了我好多时间)点击右边的圈圈进入wifi设置。(我有一部比较旧的手机没法设置这个。。)然后设置代理服务器和端口(如果你电脑是接wifi,就输入wifi...原创 2020-01-29 15:02:47 · 24425 阅读 · 6 评论 -
selenium点击标签失败,ElementClickInterceptedException
使用selenium在点击部分标签时显示以下错误:browser.find_element_by_css_selector('#blog_detail').click()selenium.common.exceptions.ElementClickInterceptedException: Message:element click intercepted: Element <>...原创 2020-01-23 19:55:17 · 13469 阅读 · 9 评论 -
初学者爬虫爬取漫画
初学Python爬虫,爬了一部漫画原创 2019-03-12 21:36:16 · 6159 阅读 · 1 评论