Python进阶专栏《爬虫实战进阶》，《Pyppeteer从入门到精通》原创作者

​本文是该专栏的第56篇，后面会持续分享python的各种干货知识。在本专栏的上篇文章《Python实现链接KS3，并将文件数据批量上传到KS3》中，笔者有详细介绍基于Python，实现链接KS3并将文件数据批量上传。而本文，笔者将基于在上一篇文章的基础之上，实现链接KS3，并将KS3指定桶目录下的文件数据进行批量下载。废话不多说，具体细节部分以及详细思路逻辑，跟着笔者直接往下看正文详细内容。（附完整代码）

本文是该专栏的第55篇，后面会持续分享python的各种干货知识。说到KS3，首先想到的是金山云提供的对象存储服务。相信或多或少的同学，在工作项目中也会遇到KS3相关的需求。比如说，现在有大批量的数据文件需要通过Python，上传到KS3中。对此，需要怎么去做呢？而本文，笔者将针对通过Python实现批量上传数据文件到KS3中，结合实战代码案例进行详细介绍。废话不多说，下面跟着笔者直接往下看正文详细内容。（附完整代码）

本文是该专栏的第54篇，后面会持续分享python的各种干货知识。相信很多学习Java的同学，都有这样的经历，必须得安装一下JDK(java development kit java开发工具包)，然后在配置一下环境就可以了。其实除了Java，有时候在用到appnium的时候，也会需要安装JDK，这里先不细说了。下面跟着笔者直接进入本文的主题部分，如何正确安装JDK，以及如何正确配置环境。废话不多说，直接往下看正文内容。

本文是该专栏的第53篇，后面会持续分享python的各种干货知识。我们在使用appnium的时候，除了安装JDK之外，也需要安装Android SDK。那么，正确安装Android SDK是怎样的呢。接下来，笔者带你一步一步详细介绍正确的安装步骤。废话不多说，直接往下看正文内容。

本文是该专栏的第52篇，后面会持续分享python的各种干货知识。​在本专栏之前，笔者在文章《Python实现SMS-Activate接口调用，获取手机号和验证码》中，有详细介绍基于SMS-Activate平台，通过python来实现自动获取目标国家的手机号以及对应的手机号验证码。而本文，笔者将基于在该文章的基础之上，对整个程序功能进行“进阶版”的功能调整。让你通过程序来获取“目标手机号”以及“手机号验证码”更加灵活。废话不多说，具体细节部分以及详细思路逻辑，跟着笔者直接往下看正文详细内容。（附完整代码）

本文是该专栏的第51篇，后面会持续分享python的各种干货知识。针对python和bat以及exe之间的相关性文章，感兴趣的同学，可以直接查阅下面的链接即可。而本文，笔者将为你详细介绍一个非常实用的“技能”点。相信很多有做过爬虫项目的同学，都或多或少遇见过这样的一个需求，那就是——“将你写的python爬虫脚本，生成一个bat文件或者exe文件，再生成一个快键方式放到电脑桌面，点击这个bat或者exe文件即可自动运行该python爬虫程序”。看到这个需求，是不是曾经在某个实战项目中有遇到过呢？

本文是该专栏的第50篇，后面会持续分享python的各种干货知识。对通过python启动指纹浏览器adspower相关知识点感兴趣的同学，可以直接翻阅以下文章：​1.如何用selenium或pyppeteer来链接并打开指纹浏览器AdsPower【最新版】​2.如何用selenium或pyppeteer来链接并打开指纹浏览器AdsPower3.如何用selenium或pyppeteer来启动多个AdsPower窗口​4.AdsPower相关实战项目（附带教学以及项目完整代码）而在本文中，笔者将同样以

本文是该专栏的第49篇，后面会持续分享python的各种干货知识。Dify是一个开源的LLM（大型语言模型）应用开发平台，旨在为开发者提供从Agent构建到AI workflow编排、RAG检索、模型管理等全方位的能力，从而轻松构建和运营生成式AI原生应用。在本文中，笔者将针对Dify的核心知识点以及“本地如何部署Dify”，进行详细说明。具体细节部分，笔者在正文将结合实际完整图文案例进行详细说明，一文让你轻松学会在本地部署Dify。废话不多说，下面跟着笔者直接往下看正文详细内容。（附完整操作以及本地部署D

本文是该专栏的第48篇，后面会持续分享python的各种干货知识。本文，我们一起踏入一个既实用又略带“挑战性”的领域——学习如何在Python中高效地删除文件。不需要担心，只要你跟着笔者的指引，就能在确保安全的前提下，游刃有余地管理你的文件系统，展现出python高手的风范。对于文件删除来说，可能大多数同学只知道os模块，但是笔者想要在本文中介绍的是“除了os，还有更加高级以及更加快速的文件删除方法”，而本文中，笔者将详细为你介绍八种文件删除“高级方法”。具体的细节部分，笔者在正文将结合实际完整代码案例进行

本文是该专栏的第47篇，后面会持续分享python的各种干货知识。​在本专栏前面，笔者在在文章《Python实现自动进行网络监控》里面，有详细介绍通过python实现自动进行“网络监控”。而本文，笔者将该篇文章的基础上，将自动进行“网络监控”的功能，封装成一个GUI工具。换言之，通过在该GUI工具上进行操作，即可实现网络监控等功能。具体细节部分，笔者在正文将结合实际完整代码案例进行详细说明。废话不多说，下面跟着笔者直接往下看正文详细内容。（附完整代码）

本文是该专栏的第46篇，后面会持续分享python的各种干货知识。雪花算法（Snowflake Algorithm）是Twitter开源的一个分布式ID生成算法，其结果是一个long型的ID。这个算法生成的ID趋势递增，且ID中包含了时间戳、机器码和序列号等信息，使得在分布式系统中生成的ID具有全局唯一性。而本文，笔者将通过实际案例，通过python基于雪花算法的基础上，生成唯一的ID。具体的细节部分，笔者在正文将结合实际完整代码案例进行详细说明。废话不多说，跟着笔者直接往下看正文详细内容。（附完整代码）

本文是该专栏的第45篇，后面会持续分享python的各种干货知识。提到网络监控，很多同学都会联想到它可以实时检测网络流量、设备状态以及潜在的威胁，帮助管理员及时发现并应对网络攻击、恶意软件、钓鱼网站等安全威胁。通过监控，可以快速定位安全问题，采取相应措施保护网络资源和数据安全。除上述提到的之外，网络监控还在很多领域都有应用到。本文笔者将详细介绍通过python来实现一个网络监控的程序功能以及部署方法。具体细节部分，笔者在正文将结合实际完整代码案例进行详细说明。下面跟着笔者直接往下看正文详细内容。（附完整代码

本文是该专栏的第44篇，后面会持续分享python的各种干货知识。在处理python项目的时候，你可能偶尔会遇到这样的需求——需要你将json数据通过post请求，传递给接口。除此之外，也可能会遇到需要将参数为数组（python术语为列表）的数据传递给接口。遇到这类问题，结合python需要怎么去处理呢？而本文，笔者将针对此类需求，介绍几种详细的解决方法。具体的细节部分，笔者在正文将结合实际完整代码案例进行详细说明。废话不多说，跟着笔者直接往下看正文详细内容。（附完整代码）

本文是该专栏的第43篇，后面会持续分享python的各种干货知识。MinIO是一个高性能的对象存储服务，它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，比如说“图片、视频、日志文件、备份数据和容器/虚拟机镜像”等。MinIO原生支持Kubernetes，可以用于构建云存储服务。MinIO可以在标准硬件上运行，非常适合私有云和边缘计算场景。MinIO提供了存储桶级粒度，并支持同步和近同步复制，具有弹性、持久性和卓越运营的特性。​在本专栏前面，笔者有单独详细介绍使用python链接MinI

本文是该专栏的第42篇，后面会持续分享python的各种干货知识。在项目工作中，难免会遇到需要你通过python去读取100G甚至超过100G的数据文件。对于小数据的文件来说，相信很多同学都可以轻松解决。但对于大数据文件，类似读取100G的数据文件甚至会对电脑的性能产生一定的影响。而可能有同学会问，可以将100G的数据文件拆分成多个小文件进行分批次的读取，是不是也可以实现呢？该种方法虽然是可行的，但是对于追求效率的需求者来说，这仅仅只是退而求其次的方法，并不是最佳选择。那么，如果想要快速通过python读取

本文是该专栏的第41篇，后面会持续分享python的各种干货知识。​在本专栏上一篇文章《Python实现链接AWS S3，并将数据上传到AWS S3》中，笔者有结合项目代码，详细介绍通过python链接AWS S3，并将数据快速上传到AWS S3。感兴趣的同学，可以往前翻阅查看。在本文，笔者将介绍另外一个对象存储服务，就是“MinIO”。MinIO是一个高性能的对象存储服务，它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，比如说“图片、视频、日志文件、备份数据和容器/虚拟机镜像”等..

本文是该专栏的第40篇，后面会持续分享python的各种干货知识。使用python在处理某些项目的时候，偶尔会遇到需要将“本地数据源”或“数据库数据”上传到AWS S3的需求。AWS S3（Simple Storage Service）是一个公开的服务，Web应用程序开发人员一般可以使用它存储海量数字资产。通常情况下，我们获取到数据源之后，一般都会想着将数据存入数据容器。对于数据量偏小的情况，mysql几乎都能满足存储需求，而当数据量达到上亿级的时候，mysql基本上就比较吃力了，这时如果考虑将数据存...

本文是该专栏的第39篇，后面会持续分享python的各种干货知识。​在本专栏之前，有详细介绍使用python增加b站视频的播放量方法，感兴趣的同学可往前翻阅《Python-增加b站视频播放量》。而本文，笔者再来单独的详细介绍，通过python来获取b站视频的弹幕内容。废话不多说，下面跟着笔者直接往下看正文内容的详细思路和逻辑，在文中将结合代码进行详细说明。（附完整代码）在开始之前，首先确保本地已经安装好了python环境。在确保环境没有问题的情况下，再来安装本文需要用到的第三方库，那就是...

本文是该专栏的第38篇，后面会持续分享python的各种干货知识。在日常工作当中，有时候会需要你不停的去点击某个页面或者按钮或者其他事件操作等。又或是突发奇想，想利用python开发一个游戏的自动点击脚本等等。通常情况下，你可能会联想到“按键精灵”。而在本文中，笔者想要通过python去一一实现这些功能（鼠标移动，模拟键盘按键， 屏幕截图等），也就是说，通过python去实现各种自动化操作。值得一提的是，笔者在本文中介绍的方法不会借助于“任何”自动化框架，将纯粹的为你介绍一个非常实用，而且功能非常强大的

本文是该专栏的第37篇，后面会持续分享python的各种干货知识。asyncio是Python中并发编程的一种实现方式，它是Python3.4版本引入的标准库，直接内置了对异步IO的支持。异步，就是多个任务之间执行没有先后顺序，可以同时运行，执行的先后顺序不会有什么影响，能保持着同时存在的多条运行主线。而同步的多任务，它们之间执行的时候要求有先后顺序，必须一个先执行完成之后，另一个才能继续执行，总的来说，只有一个主线。而本文，笔者将主要来详细介绍通过python，怎样“精确”的来控制asyncio中并发运行

本文是该专栏的第36篇，后面会持续分享python的各种干货知识。众所周知，在处理图片识别的时候，都会选择使用OCR来解决。而python作为一门编程语言，它有着多种解决图片识别的OCR。而笔者在本文中，将要介绍的是一种非常简单的OCR识别方法——EasyOCR。可以自信的说，使用EasyOCR做到精准识别，只需两行代码即可。提到EasyOCR，顾名思义，使用该种OCR会让你体会到什么叫做“Easy”。相信看完本文内容的同学，会让你惊讶到OCR识别竟然可以简单到这种程度。那么，使用EasyOCR需要注意哪些

本文是该专栏的第35篇，后面会持续分享python的各种干货知识，值得关注。在工作上，有时候会遇到如下情况，需要对指定的python脚本进行重启。第一种情况，就是当python脚本执行结束之后，可以通过python再次自动重新执行该python脚本；第二种情况，当python脚本执行过程中出现“非bug性”报错，比如爬虫程序中的网络问题会导致程序出错终止，这个时候需要通过python自动重新执行该脚本。出现上述问题，需要怎么解决呢？下面，跟着笔者直接往下看正文，通过python自动重新执行指定的python

本文是该专栏的第34篇，后面会持续分享python的各种干货知识。假设工作上遇到这样的需求，需要用python读取目标文件夹里面的数据，数据可能包含各种doc文档，pdf文档以及excel文档数据。读取目标文件夹之后，通过python将目标文件夹的全部数据自动复制到新的指定文件夹中。处理数据分析项目的时候，此类需求还是比较常见的。而本文将针对此类需求，来详细介绍具体解决方法。下面，跟着笔者直接往下看正文。（附完整代码）假设现在有如下目标文件夹，文件夹中有多份doc文档，如下：通过python自动读取该文件夹

本文是该专栏的第33篇，后面会持续分享python的各种干货知识，值得关注。在工作上可能会遇到这样的需求，需要你对某个IP地址的网段进行批量检测。将可用和不可用IP批量筛选出来，尤其是在爬虫项目中，对于IP可用性的检测需求较多。那么在python中，有没有方法可以快速批量筛选出IP地址网段的可用性呢。对于此问题，笔者将在本文中，详细介绍使用python实现批量检测IP地址的方法。（附完整代码）在项目中需要知道当前IP地址网段，哪些是没有被使用的。如果单独写个脚本，依次逐个去检测，会较为繁琐。而接下来，将介绍

本文是该专栏的第32篇，后面会持续分享python的各种干货知识，值得关注。在工作中会经常遇到这样的情况，需将整理好的数据文件发送给其他人。假如说，这里的数据文件是以G为单位的数据文件，要如何快速高效的在短时间内发送给对方呢？如下图所示：通常情况下，都会将数据文件进行压缩然后发送给对方。像上图中以G为单位的数据压缩文件，想要在短时间内快速高效的发送给对方，需要怎么实现呢？笔者将在本文提到的使用python一行命令，即可轻松解决。具体方法，直接往下看正文。（附完整代码）假设我们的目标压缩文件放在电脑桌面。准备

本文是该专栏的第31篇，后面会持续分享python的各种干货知识，值得关注。在工作上，尤其是在处理爬虫项目中，会遇到这样的需求。访问某个网页或者在采集某个页面的时候，正文部分含有docx，或pdf，或xls，或doc，或wps等链接。需要你使用python自动将页面上含有的这些信息链接下载并保存到指定文件夹。遇到这种情况需要怎么做呢？别担心，跟着笔者直接往下看正文的详细解决方法。（附完整代码）在有些网页的正文中，有时会有如下图中的doc链接。比如爬虫在采集正文数据的时候，像标题，正文内容，作者，发布时间等等

假设现在有如下需求，用python写一个GUI界面，在该GUI界面上输入参数信息，然后再点击GUI界面上的提交按钮，启动并执行对应的python脚本。换言之，在GUI界面上输入的参数信息传递给对应的python脚本，通过GUI界面来控制对应python脚本的执行。看到上面的信息，就说明使用python通过GUI界面传递参数，并执行启动相应的python脚本功能就OK了。选择对应的程序，并输入相关参数信息，点击开始按钮，自动执行对应的python程序。定义三个方法，通过GUI界面的传递参数来调用目标方法。

此外，在上面的例子中，txt文件是以“空格”分隔的，如果遇到“逗号”分隔的，只需将上述代码中的。本文是该专栏的第29篇，后面会持续分享python的各种干货知识，值得关注。工作上可能会遇到这样的情况，使用python将某个txt文本，按照。转换成对应的excel文件或者是csv文件。”需要替换成你的目标txt文件的绝对路径。库，这里直接引用就好。需要注意的是，上述代码中的“

如果条件允许的情况下，有代理API更好，每次请求url调用API也更方便。如果没有的话，也不用担心，网上本身也有着很多免费国内代理，不过代理是否可用需要自己花点时间去检测，检测方法笔者这里就不详述了，后面有时间的话会单独针对这一块做详细说明。在开始之前，需准备代理IP。总之，在每次请求url的时候，随机带入某个IP防止被平台检测，便于达到增加播放量预期。大致思路就是针对你的目标代理平台进行IP抓取，并存入到自己本地的IP代理池。本文是该专栏的第1篇，后面会持续更新对应平台干货知识，记得关注。

鉴于sms-activate平台返回验证码的规律，其获取对应手机号码的验证码一般会在1-30秒之间返回，有时可能会更久。手机号码就是你选择的对应国家的号码，而这个ID号，就可以拿到对应手机号码的对应验证码。使用python调用获取号码的方法和细节，将在本文详细来描述，有疑问可以给笔者留言。：表示验证码等候中，换言之，稍等不要离开，过一会就有验证码显示出来，所以这种情况就需要加个循环时间等待；本文是该专栏的第27篇，后面会持续分享python的各种干货知识，值得关注。比如说，0表示俄罗斯，73表示巴西。

本文是该专栏的第26篇，后面会持续分享python的各种干货知识，值得关注。笔者之前有详细介绍快手滑块验证码的识别方法（Python如何解决“快手滑块验证码”(4)），感兴趣的同学可往前翻阅查看。需要注意的是，滑块验证码的缺失距离需要根据你自己电脑的分辨率进行微调，这里暂时就不详述了。而本文，笔者将重点介绍将快手主页的视频进行无水印保存到本地。废话不多说，跟着笔者直接往下看详细方法

本文是该专栏的第25篇，后面会持续分享python的各种干货知识，值得关注。在项目中，有时候会接到这样的需求。需要你对某种图片进行切割，而且切割的同时需要保留目标信息。举个例子，在处理FunCaptcha验证码的时候，一般OCR是识别不了FunCaptcha验证码上面的趣味图片内容信息，尤其是海外平台出现这种验证码的几率非常大。这个时候，就需要你将它的验证码图片截图下来，截图之后再单独进行图片切割，保留图片上面的重要内容，以便于进行图片相似度对比分析。这于这样的图片切割需求，你需要怎么做呢？

本文是该专栏的第24篇，后面会持续分享python的各种干货知识，值得关注。做过爬虫项目的同学，对AES加解密都有遇到过。在密码学中，加密算法也分为双向加密和单向加密。单向加密包括MD5、SHA等摘要算法，它们是不可逆的。而双向加密包括对称加密和非对称加密，对称加密包括AES加密、DES加密等。需要注意的是，双向加密是可逆的，存在密文的密钥。AES算法是DES算法的替代者，也是现在最流行的加密算法之一。那么AES又具体是什么呢？

本文是该专栏的第23篇，后面会持续分享python的各种干货知识，值得关注。提到python进行人脸识别，不得不提dlib库，它包含了机器学习的很多算法，使用起来也非常方便，直接包含头文件即可，并且不依赖于其他库（自带图像编解码库源码）。而dlib可以帮助您创建很多复杂的机器学习方面的软件来帮助解决实际问题，在目前，dlib已经被广泛的用在行业和学术领域，包括机器人，嵌入式设备，移动电话和大型高性能计算环境

如果想省事，可以将该主程序设置一个bat文件，一键启动bat文件就可以同时运行scrip1.py和scrip2.py。设置bat的方法，这里就不详述了，本专栏前面有详细介绍过，感兴趣的同学可往前翻阅。我们现在要做的就是再单独写一个python脚本，能同时执行scrip1.py和scrip2.py两个脚本。很明显，程序只单独的执行了scrip1.py脚本的功能，并未同时执行 scrip2.py。亦或是需要你写个一键启动的bat程序，运行bat脚本，就同时执行多个python脚本。下面，我们再借助进程。

现在比较图片3.jpg和图片4.jpg的相似度，我们人为的去评判这两张图肯定是存在巨大差异的，现在交给算法来进行相似度比较，结果会怎么样呢？而本文要介绍的方法，使用python对比两张图片，以均值哈希算法，差值哈希算法，感知哈希算法，三直方图算法以及单通道的直方图，从这几个相似度纬度来进行相似度比较，更全面的比较两张图片的相似度。文中提到的方法，解决图片之间的相似度，还是可以轻松应对的。利用多纬度的相似度算法得到的结果和预期的一样，3.jpg和4.jpg还是存在差异的。

工作上很多时候，需要将python脚本部署到Linux上面，然后在Linux上面使用shell命令启动python脚本。对于不需要传递参数的python脚本，执行方法有多种，这里暂时不详述了。而本文重点要提的是，对于那种需要传递参数才能正常运行的python脚本，使用shell命令如何才能正常运行对应的python脚本呢？3. https://www.baidu.com：表示传递给run.py脚本的参数为该链接；本文是该专栏的第20篇，后面会持续分享python的各种干货知识，值得关注。

再或者，在接口中提供该json文件，让别人提供参数请求该接口，进行更改或者更新json的数据，对于这些需求要怎么做呢？之后，会需要将目标数据的某些字段进行更新或者更改操作，需要怎么操作呢？至于调用该接口的方法，这里就不详述了，笔者之前在本专栏有单独介绍过这些知识点，感兴趣的同学可往前翻阅。本文是该专栏的第19篇，后面会持续分享python的各种干货知识，值得关注。成功运行上述代码，会在本地得到一个my_dict.json文件。

直接将该文件夹拖到pycharm里面，然后在pycahrm里面新建一个python文件。在本专栏前面有详细介绍过，使用bat如何自动执行python脚本，以及双击bat遇到闪退的解决方法。将该快捷方式bat拖入到你想要执行的目录下或者桌面，双击该快捷方式bat，一样可以执行并启动对应python脚本。倘若现在将该文件放在其他储存路径下，在桌面如何执行指定该main.py脚本呢？本文是该专栏的第18篇，后面会持续分享python的各种干货知识，值得关注。的python脚本，给出解决方法。

本文是该专栏的第17篇，后面会持续分享python的各种干货知识，值得关注。如果选择tornado作为调度的库，选择TornadoExecutor，如果选择启动进程作为调度，选择ThreadPoolExecutor或者ProcessPoolExecutor都可以。它存储被调度的作业，默认的作业存储是简单地把作业保存在内存中，其他的作业存储是将作业保存在数据库中。它包含调度逻辑，每一个作业有它自己的触发器，用于决定接下来哪一个作业会运行