- 博客(114)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Autojs学习笔记 附带a系滑块实战【一篇就够】
Autojs学习笔记 附带 a系滑块实战【一篇就够】万物编程先文档，本教程仅作为辅助参看，若要更加深入学习，请阅读官方文档： https://hyb1996.github.io/AutoJs-Docs/#/?
2022-10-24 21:11:37
3941
1
原创 Python 手把手实现M3U8视频抓取
声明：本文只作学习研究，禁止用于非法用途，否则后果自负，如有侵权，请告知删除，谢谢！==此案例比较适合新手学习JS逆向==引言本文出自微信公众号【Python三剑客】作者：阿K阅读时长：5min留言：文章输出我一直贯彻着即拿即用的方式为大家提高工作效率，持续涨薪。没有精美的文案，没有动情可爱的故事情节，不想随波逐流，暂时只想努力输出好的文章，如果对大家有帮助希望大家能够点赞、收藏、分享一键三连！在此感谢各位读者！目标(科)上(学)网 : https://www
2021-08-13 17:39:40
7789
3
原创 Python爬虫加密即拿即用【Base64加密、解密】
Python爬虫加密即拿即用【DES对称加密算法】"""base64加密# 被编码的参数必须是二进制数据Base64编码是一种“防君子不防小人”的编码方式。广泛应用于MIME协议，作为电子邮件的传输编码，生成的编码可逆，后一两位可能有“=”，生成的编码都是ascii字符。优点：速度快，ascii字符，肉眼不可理解缺点：编码比较长，非常容易被破解，仅适用于加密非关键信息的场合"""import base64s = 'what the help'base64_s = 'd2hhdCB0a
2021-08-07 11:28:23
727
2
原创 Scrapy入门探索盗墓笔记
Scrapy入门探索盗墓笔记声明：本文只作学习研究，禁止用于非法用途，否则后果自负，如有侵权，请告知删除，谢谢！引言本文出自微信公众号【Python三剑客】作者：阿K阅读时长：5min留言：没有精美的文案，没有动情可爱的故事情节，不想随波逐流，暂时只想努力输出好的文章，如果对大家有帮助希望大家能够点赞、收藏、分享一键三连！在此感谢各位读者！ 该文章为scrapy入门案例，希望能对你有所帮助 目录一、Scrapy依赖包安装二、创建Scrapy项目...
2021-08-07 09:42:45
380
原创 Selenium测试时清理chromedriver【linux\windows通用】
Selenium测试时清理chromedriver【linux\windows通用】我们平时在使用chromedriver驱动时会存在未完全清楚的现象解决思路1、打开chromedriver时记录对应的端口号，退出或者执行完任务之后通过端口号清除该进程2、执行任务后统一杀死所有chromedriver进程下面为大家实现一下win\linux下如何杀掉所有的进程操作class KillChromedriver(): def __init__(self): self.is
2021-08-05 12:32:39
1899
原创 Python爬虫加密即拿即用【DES对称加密算法】
DES对称加密上码言简意赅不套路，上码'''全称：数据加密标准（Data Encryption Standard），属于对称加密算法。DES是一个分组加密算法，典型的 DES 以 64 位为分组对数据加密，加密和解密用的是同一个算法。它的密钥长度是 56 位（因为每个第 8 位都用作奇偶校验），密钥可以是任意的 56 位的数，而且可以任意时候改变。'''import binasciifrom pyDes import des, CBC, PAD_PKCS5# 加密def des
2021-07-29 10:46:33
518
原创 Python爬虫加密即拿即用【AES对称加密算法】
AES对称加密二话不说直接上码import base64from Crypto.Cipher import AES# 需要补位，str不是16的倍数那就补足为16的倍数def add_to_16(value): while len(value) % 16 != 0: value += '\0' return str.encode(value) # 返回byte# 加密方法def encrypt(key, text): aes = AES.new
2021-07-29 09:29:02
317
原创 Python 日志模块报错 ModuleNotFoundError: No module named ‘logs‘
起因大家有没有发现有时在pip install 导包 后仍然找不到或者还是无法安装解决方案1、 找到当前pip的目录window 下 cmd ： pip -V2 、进入当前目录并创建文件文件名：.pth文件内容：D:\spider_project【当前启动的爬虫文件位置】3、重新启动需要项目就可以了...
2021-07-24 17:12:31
1913
1
转载 Redis系列三【缓存相关问题】
Redis系列三【缓存相关问题】引言本文出自微信公众号【Python三剑客】作者：阿K阅读时长：5min留言：没有精美的文案，没有动情可爱的故事情节，不想随波逐流，暂时只想努力输出好的文章，如果对大家有帮助希望大家能够点赞、收藏、分享一键三连！在此感谢各位读者！ 问一：Redis缓存雪崩 问二：Redis缓存穿透 问三：Redis缓存预热 问四：Redis缓存降级 问五：关于热点数据和冷数据 一、Redis缓存雪崩!!.
2021-07-16 09:26:23
156
转载 三次握手四次挥手今生难忘
三次握手四次挥手今生难忘老生常谈的基础问题，这波我希望大家能够理解透彻目录：一、 TCP协议[三次握手四次挥手属于哪一层？]二、什么是三次握手？三、为什么要三次握手？四、什么是四次挥手？五、为什么要四次挥手？六、为什么建立连接是三次握手，而关闭连接却是四次挥手呢？一、 TCP协议[三次握手四次挥手属于哪一层？]OSI 参考模型与 TCP/IP 的关系如果需要保障网络数据包的可靠性，那么就需要由上层（传输层）的 TCP 协议来负责。因为 TCP 是一个工作在传输层
2021-07-14 10:07:38
143
原创 Redis系列二【原理、原子性、事务】
文章目录引言Redis是单进程单线程的，如何解决并发问题？Redis为什么那么快？Redis如何保持原子性？Redis事务引言本文出自微信公众号【Python三剑客】作者：阿K阅读时长：5min留言：没有精美的文案，没有动情可爱的故事情节，不想随波逐流，暂时只想努力输出好的文章，如果对大家有帮助希望大家能够点赞、收藏、分享一键三连！在此感谢各位读者！问题一：Redis是单进程单线程的，如何解决并发问题？问题二：Redis为什么那么快？问题三：Redis如何保持原子性？问题四：Redi
2021-07-13 09:07:00
950
原创 Redis系列一【使用场景与数据结构】
Redis系列一本文出自微信公众号【Python三剑客】作者：阿K阅读时长：5min留言：没有精美的文案，没有动情可爱的故事情节，不想随波逐流，暂时只想努力输出好的文章，如果对大家有帮助希望大家能够点赞、收藏、分享一键三连！在此感谢各位读者！职场上Redis是必须要掌握的数据库生存技能之一，今天为大家科普一下，下回开始为大家讲解面试中提问频率比较高的题目。Redis优缺点Redis 是一个基于内存的高性能key-value数据库。很像memcached，整个数据库统统
2021-07-07 09:17:22
184
原创 PythonCookie池细谈 [下集]
PythonCookie池细谈 [下集]声明：本文只作学习研究，禁止用于非法用途，否则后果自负，如有侵权，请告知删除，谢谢！引言本文出自微信公众号【Python三剑客】作者：阿K阅读时长：5min留言：没有精美的文案，没有动情可爱的故事情节，不想随波逐流，暂时只想努力输出好的文章，如果对大家有帮助希望大家能够点赞、收藏、分享一键三连！在此感谢各位读者！最近看了咚咚枪的Cookie池觉得不错就分享给大家了，无论从模块的复用性和健壮性来说都比较好。目录结构C
2021-07-06 09:22:51
193
2
原创 2021最新处理报错Anconad JPype.whl is not a supported wheel on this platform.问题
处理Python Anaconda 安装 JPype报错显示ERROR: JPype1-1.3.0-cp38-cp38-win32.whl is not a supported wheel on this platform.安装命令pip install JPypel处理方案一：Python资源库中下载对应版本的包进行安装Python资源库https://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype在下载后的路径下进行安装## w
2021-07-06 08:58:50
487
原创 PythonCookie池细谈 [上集]
本文出自微信公众号【Python三剑客】作者：阿K阅读时长：5min引言谈到Cookie池这是爬虫面试必不可少的问题之一，今天为大家分享一下如何构建一个完整和健壮的CookiePool【为什么要登录账号】 由于现在爬虫技术的普及很多网站都通过登录账号来限制爬虫的抓取，甚至乎有些网站只有登录了才能看到数据 一些页面和接口虽然可以直接请求，但是请求一旦频繁，访问就容易被限制或者IP直接被封，但是登录之后就不会出现这样的问题，因此登录之后被反爬的可能性更...
2021-07-01 09:45:37
300
2
原创 JS逆向案例系列一[多**游戏POST登录]
声明：本文只作学习研究，禁止用于非法用途，否则后果自负，如有侵权，请告知删除，谢谢！此案例比较适合新手学习JS逆向文章目录引言一、抓包分析二、加密分析参数：stoken参数：pwd三、参数调用引言本文出自微信公众号【Python三剑客】作者：小饼干阅读时长：5min一、抓包分析我们打开目标网址点击登录，填写账号及密码 打开F12进行抓包分析这个网站有两个参数加密stoken和pwd二、加密分析参数：stoken在弹出的登录输入框中右键点击加载框架源代码搜索关键字st
2021-06-30 09:42:50
325
原创 JS逆向案例系列一[图**区POST登录]
JS逆向案例系列一[图**区POST登录]声明：本文只作学习研究，禁止用于非法用途，否则后果自负，如有侵权，请告知删除，谢谢！此案例比较适合新手学习JS逆向页面分析1、抓包分析打开目标网址，输入账号及密码，打开F12进行抓包分析这里只有一个参数加密2、参数定位参数：password我们可以通过旁边的调用栈定位优先选择login的地方3、加密分析找到加密的位置下断点这里是把密码传入到了 n函数中我们继续往上找，找到n函数我们把n函数代码扣下来再定位一下RS
2021-06-29 09:15:31
229
1
原创 JS逆向案例系列一[D**POST登录]
文章目录引言页面分析_token参数password & email 参数代码编写引言本文出自微信公众号【Python三剑客】作者：小饼干阅读时长：5min声明：本文只作学习研究，禁止用于非法用途，否则后果自负，如有侵权，请告知删除，谢谢！页面分析打开目标网址点击登录，填写账号及密码 打开F12抓包一共四个参数 其中三个是加密的_token参数password & email 参数从调用栈进去，优先选择login的很明显，我们加两个断点调试一下这两行代码分别
2021-06-28 16:51:38
321
原创 Python自动获取邮箱验证码【下集】
自动获取邮箱验证码【下集】上集为大家讲解了Gmail的专用密码设置和IMAP的设置，接下来主要为大家展示一下代码的实现邮件协议收取邮件有两种协议，POP3和IMAP，POP3相对于IMAP功能较少无法对邮件进行更深层次的操作，因此本文使用IMAP协议收取邮件。python提供了很多收邮件的模块，本文使用imaplib来接收邮件。难点获得邮件不难，难点是如何解析邮件的内容，由于邮件内容的编码是不固定的，因此编码格式的选择影响着解析邮件内容的正确性重申一次：由于Gmail属于国
2021-06-26 09:20:08
2610
4
原创 Python自动获取邮箱验证码【上集】
本文阅读时长：3-5min声明：本文只作学习研究，禁止用于非法用途，否则后果自负，如有侵权，请告知删除，谢谢！前置：Google IMAP协议设置 与 专用密码设置本次教程为自动获取邮箱验证码实现Faceb账号的对接功能。在此之前需要设置邮箱的专用密码，其次需要科·学·上·网·的前提下通过IMAP协议实现该邮箱信息的获取，最后根据对应的邮件名解析验证码。专用密码的用途：相当于邮箱密码在Imap协议过程中使用【在普通密码无法使用的情况下优先使用专用密码】一、IMAP协议
2021-06-25 09:48:49
2125
2
原创 JS逆向案例系列一[飞*小说POST登录]
声明：本文只作学习研究，禁止用于非法用途，否则后果自负，如有侵权，请告知删除，谢谢！点击登录测试密码为：123456789直接来这个是登录包 txtPwd参数是加密的，其他参数都还好伪造第一步(搜索)：全局搜索这个参数(ctrl+shift+f)第二步(定位)：大概是箭头的地方，点击进去这里的 pwd 就是我们在网页中输入的密码，time_stamp为时间戳第三步(分析)：传了一个密码和一个时间戳进去 login_md5的函数中
2021-06-24 09:30:37
287
原创 OpenCV库滑破解 滑块 验证码
声明：本文只作学习研究，禁止用于非法用途，否则后果自负，如有侵权，请告知删除，谢谢！今天为大家讲解一下如何通过OpenCV图像识别库破解滑块验证码。花里胡哨的一大段修饰我就省略了哈！此方法能够为一下情景使用：图片已处理的案例：头号、京、抖*、企*号等一、处理滑块主要流程步骤前置配置（安装相关的库）验证码图片下载计算偏移量实现拟人化滑动效果1.安装selenium 支持 python2.7 以及 python3.5 等主流 python 版本，其安装较为简单，有网的环境下，打开cmd输入
2021-06-21 15:03:50
2848
2
原创 Selenium xpath无法解析的如何处理
Selenium xpath无法解析的如何处理一、问题描述Xpath无法解析的原因使用selenium加载时没有加入等待时间，导致页面元素无法加载xpath无法解析xpath语句未能准确定位如果xpath无法解析到怎么办xpath点击失效（报错：该元素不是可点击元素）（客户端渲染，需要研究分析js代码实现同等效果的操作；或者通过火狐浏览器对js代码点击事件进行研究）二、解决办法1 <1> 用time.sleep(3)方法休眠等待 <2> 用显示等待
2021-06-02 10:32:38
1411
原创 [Selenium]TypeError:__init__() takes 2 positional arguments but 3 were given解决方案
异常描述：执行以下代码WebDriverWait(self.driver, 10, 0.5).until(EC.presence_of_element_located(By.XPATH, '//span[text()="全选"]'))，PyCharm出现异常提示TypeError: __init__() takes 2 positional arguments but 3 were given原译：init()方法只取2个参数，但实际提供了3个参数。源码分析presence_of_elemen
2021-05-25 11:14:26
7149
原创 python项目自动导出和导入requirement依赖
python项目自动导出和导入requirement依赖一、自动导出requirement.txt文件1、安装打包库pip install pipreqs2、当前目录下生成requirement.txt文件pipreqs ./ --encoding=utf-8 --force【–force 强制执行，当 生成目录下的requirements.txt存在时覆盖。】二、自动导入1、导入requirement.txt安装依赖pip install -r requirements.txt
2021-05-18 16:23:30
801
原创 解决关于上传文件到服务器报错Permission denied的问题
一、解决办法开通当前文件的权限-sudo chomd 777 /home/filename接下来就可以通过常用的ftp工具上传或者下载文件了二、通过scp命令上传文件scp demo.txt ubuntu@xxx.xxx.xxx.xxx:home/name就是上传demo.txt文件夹到远程服务器的/home/name目录下三、通过scp命令下载文件scp -r ubuntu@xxx.xxx.xxx.xxx:/home/name/caffe /home/deeplearning/Pu
2021-05-18 12:16:36
5651
2
原创 Selenium 常用API大全（一篇就够）
Selenium Crawl API文章目录Selenium Crawl APISelenium 常用方法初始化常用的操作Chrome_Options 与 option区别标签切换句柄清除浏览器窗口自动向下滑动上传图片操作鼠标操作键盘操作等待直到二次截图`Xpath解析``Xpath难点`Chrome 识别标志Selenium 键盘操作Selenium 注意问题Selenium 常用方法使用selenium操作时需要时刻模拟认为的操作行为方式比如：登录等需要多少秒，最好具体到每一小步初始
2021-05-15 14:54:55
3105
原创 Uiautomator2 常用API大全
Uiautomator2 常用API纯手动输出建议收藏点赞一键三连github参考链接：https://github.com/openatx/uiautomator2/tree/master/uiautomator2文章目录Uiautomator2 常用API标准APi等待相关上传下载文件检索设备信息检查并维持设备端守护进程处于运行状态获取屏幕大小获取当前设备信息等待活动获取设备序列号获取网络ip获取详细设备信息键盘事件息屏亮屏获取当前屏幕状态按硬/软键解锁屏幕点击交互事件点击滑动事件拖动定位滑
2021-05-08 10:41:16
4886
原创 Python爬虫Scrapy轮子工具
Scrapy万字长文，建议使用目录点击查阅，有助于高效开发。建议点赞收藏概念scrapy框架的运行流程以及数据传递过程：爬虫中起始的url构造成request对象–>爬虫中间件–>引擎–>调度器调度器把request–>引擎–>下载中间件—>下载器下载器发送请求，获取response响应---->下载中间件---->引擎—>爬虫中间件—>爬虫爬虫提取url地址，组装成request对象---->爬虫中间件—>引擎—>
2021-05-06 09:41:18
897
3
原创 Python爬虫Request轮子工具
SuperSpider== 万字长文，建议使用目录点击查阅，有助于高效开发。建议点赞收藏 ==文章目录SuperSpiderRequest抓取思路步骤多级页面数据抓取思路UserAgent反爬处理Cookie反爬Cookie参数使用CookieJar对象转换为Cookies字典requests模块参数总结requests.get()requests.post()request.session()作用与应用场景使用方法responseresponse.text 和response.content的区别：动
2021-04-25 13:18:07
2949
14
原创 python爬虫Scrapy框架精选01集
scrapy的概念和流程学习目标：了解 scrapy的概念了解 scrapy框架的作用掌握 scrapy框架的运行流程掌握 scrapy中每个模块的作用1. scrapy的概念Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。Scrapy 使用了Twisted['twɪstɪd]异步网络框架，可以加快我们的下载速度。Scrapy文档地址：http://scrapy-chs.readthedocs.io/zh_CN/1.0
2021-03-22 00:05:29
126
原创 2021最新Chrome 88版本 绕过webdriver检测
# 人狠话不多，我直接上码，各位老铁，双击点赞666refrom selenium import webdriverclass WebDriverChrome(object): def __init__(self): self.driver = self.StartWebdriver() def StartWebdriver(self): options = webdriver.ChromeOptions() opt..
2021-01-30 11:53:15
1428
14
LianJiaSpider.rar
2021-05-06
python进程、线程面试复习要点【超级干货】.png
2020-08-09
Mysql总结.png
2020-08-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人