Python进阶专栏《爬虫实战进阶》，《Pyppeteer从入门到精通》原创作者

本文是该专栏的第32篇，结合优质项目案例持续分享Pyppeteer的干货知识。本文中，笔者以小红书为例，基于Pyppeteer实现自动登录“小红书”。需要注意的是，对Pyppeteer不太熟悉的同学，可往前翻阅本专栏前面介绍的Pyppeteer知识点，本专栏将带你了解并熟练使用Pyppeteer从入门到精通。废话不多说，使用Pyppeteer实现自动登录“小红书”的方法，其具体细节部分以及详细思路逻辑，跟着笔者直接往下看正文内容。（附带完整代码）

本文是该专栏的第31篇，结合优质项目案例持续分享Pyppeteer的干货知识。​在文章《如何用selenium来链接并打开比特浏览器进行自动化操作》中，笔者有结合完整实战代码，详细介绍了基于selenium，来链接并启动“比特浏览器”进行相关的自动化操作。对此，感兴趣的同学，可以直接点击翻阅查看。而本文，笔者将基于pyppeteer，来实现链接并打开“比特浏览器”，进行相关的自动化操作。废话不多说，具体细节部分以及详细思路逻辑，跟着笔者直接往下看正文内容。（附带完整代码）

【3万字精讲，带你轻松破解reCaptcha验证码】本文是该专栏的第30篇，结合优质项目案例持续分享Pyppeteer的干货知识。本文，笔者以“Gmail”平台为例子，通过pyppeteer来实现全自动化登录Gmail，并且破解平台的“reCaptcha验证码”进行成功登录。相信很多同学，在使用自动化框架pyppeteer或selenium，登录某些平台的时候，“或多或少”会触发reCaptcha验证码。那面对reCaptcha验证码，要怎么解决呢？具体细节部分及详细思路逻辑，直接看正文内容（附带完整代码）

本文是该专栏的第29篇，结合优质项目案例持续分享Pyppeteer的干货知识。本文，是笔者推出“自动化破解reCaptcha验证码系列”的第二篇，对通过自动化解决“reCaptcha验证码”感兴趣的同学，千万别错过。​文章《Python|Pyppeteer实现全自动化触发reCaptcha验证码(28)》是该系列的第一篇，感兴趣的同学，可以直接点击翻阅。继上一篇文章中，我们通过pyppeteer自动化触发reCaptcha验证码之后。接下来，我们要做的就是获取“reCaptcha验证码图片”，以及该“reC

本文是该专栏的第28篇，结合优质项目案例持续分享Pyppeteer的干货知识。针对近期多位同学，询问如何自动化触发“reCaptcha验证码”的问题。笔者在本文，将结合实战项目完整代码进行详细说明。对“reCaptcha验证码”感兴趣的同学，千万别错过。废话不多说，具体细节部分以及详细思路逻辑，跟着笔者直接往下看正文内容。（附带完整代码）

本文是该专栏的第27篇，结合优质项目案例持续分享Pyppeteer的干货知识。​在本专栏的上一篇文章中，笔者有详细介绍基于python中的pyppeteer，“根据目标关键词，来实现自动获取eBay的商品数据”。而本文，笔者将在上一篇文章《Python|Pyppeteer实现自动获取eBay商品数据(26)》的代码基础上，增加一个额外功能——通过指定一个“目标搜索关键词”，自动获取该关键词下面的“全部页数”商品数据信息。废话不多说，具体细节部分以及详细思路逻辑，跟着笔者直接往下看正文内容。（附带完整代码）

本文是该专栏的第26篇，结合优质项目案例持续分享Pyppeteer的干货知识。本文以eBay为例，基于pyppeteer自动获取“目标关键词”的商品数据。需要注意的是，笔者这里提到的“目标关键词”指的是在页面搜索框中，输入你指定的关键词。然后让pyppeteer，实现自动获取该关键词下面的全部商品数据。废话不多说，具体细节部分以及详细思路逻辑，跟着笔者直接往下看正文内容。（附带完整代码）

本文是该专栏的第25篇，结合优质项目案例持续分享Pyppeteer的干货知识。本文以携程的城市特价机票为例子，通过pyppeteer登录携程，然后指定两个目标城市（出发城市，目的地到达城市），获取这两个城市之间的特价机票。需要注意的是，对pyppeteer不太熟悉的同学，可往前翻阅本专栏前面介绍的pyppeteer知识点，带你了解并熟练使用pyppeteer从入门到精通。废话不多说，使用pyppeteer获取指定城市的特价机票方法，具体细节部分以及详细思路逻辑，跟着笔者直接往下看正文内容。（附带完整代码）

本文是该专栏的第24篇，结合优质项目案例持续分享Pyppeteer的干货知识。本文以抖音视频的评论数据为例，通过pyppeteer实现登录抖音，获取指定视频的评论数据，并实现将评论数据进行自动下载保存。对pyppeteer不太熟悉的同学，可往前查看本专栏前面介绍的pyppeteer知识点。废话不多说，具体细节部分以及详细思路逻辑，跟着笔者直接往下看正文内容。（附带完整代码）

本文是该专栏的第23篇，结合优质项目案例持续分享Pyppeteer的干货知识。本文笔者将针对pyppeteer启动adspower浏览器的时候，出现多个浏览窗口的问题，详细介绍一个解决方法。这也是很多同学，比较关心的一个问题。正好借助此文，笔者对该问题结合实际案例代码进行详细介绍。具体细节部分以及详细思路逻辑，跟着笔者直接往下看正文内容。（附带完整代码）

本文是该专栏的第22篇，结合优质项目案例持续分享Pyppeteer的干货知识。比如说，现在有如下需求。需要获取二手车平台卖家的联系方式，比如说“汽车之家，懂车帝，58同城”等众多平台。要知道，多数平台的联系方式并非能直接获取到，也就是通常所说的“存在反爬”等机制。具体机制，笔者在这里不过多详述。而本文中，笔者主要来介绍通过python中的pyppeteer来实现，自动获取卖家联系方式。具体细节部分以及方法实现，跟着笔者往下看正文详细内容。（附带完整代码）这里稍微提醒一点，使用pyppeteer对页面元素进行

本文是该专栏的第21篇，结合优质项目案例持续分享Pyppeteer的干货知识。本文以“威科先行”的信息库为例，笔者将详细介绍使用pyppeteer“自动滑动页面并翻页”获取威科先行的文章链接。如果对pyppeteer的使用以及知识点不太熟悉的同学，可往前查看本专栏前面介绍的pyppeteer知识点。下面，跟着笔者直接往下看正文，使用pyppeteer获取文章链接的详细方法。（附带完整代码）这里稍微补充一点，在本项目中用到Adspower，主要是威科先行需要正常登录账号之后，才可以正常访问到数据。所以在使用P

本文以去哪儿为例，笔者将详细介绍使用pyppeteer获取去哪儿的酒店数据。如果对pyppeteer的使用以及知识点不太熟悉的同学，可往前查看本专栏前面介绍的pyppeteer知识点。接下来，我们言归正卷。跟着笔者直接往下看，使用pyppeteer获取去哪儿酒店数据的方法。（附带完整代码）这里稍微提醒一点，使用pyppeteer对页面元素进行定位不太熟悉的同学，可以仔细翻阅本专栏的前三篇相关知识点。我们进入目标网站的时候，一般都是全站。如果说，当我们想要目标城市对应的酒店数据的话，我们需要设定目标城市的编号

本文是该专栏的第19篇，结合优质项目案例持续分享Pyppeteer的干货知识。我们在使用某些网站平台的时候，往往有些需要正常登录之后，才能正常访问到数据信息。相较于那些无需登录的平台，这明显给开发者增加了一点点麻烦事。只不过，在面对需要正常登录才能访问的平台，有很多解决思路，比如说模拟登录获取cookie，之后再将cookie保存交给下次请求即可。该方法虽说可行，但是每次都需要重新获取cookie才可以进行下一步，那么问题来了！有没有什么方法，可以将cookie持久化使用呢？换言之，成功登录一次之后，后面无

做过selenium项目的同学应该都知道，多数平台在面对selenium的突袭请求时，会被网站检测到存在webdriver或者是其他自动化工具的属性，而网站检测到这些目标属性之后，就会自动触发屏蔽机制，将selenium识别为非正常人的行为在操作，自动屏蔽掉selenium请求。也就是说，通常我们正常人在使用浏览器的情况下，浏览器的window.navigator.webdriver的值为undefined，在使用selenium模拟操作的情况下其值为true，基于这个机制有些网站就会对selenium进行

本文以亚马逊为例，来详细介绍使用pyppeteer获取Amazon商品的库存数据。对pyppeteer不太熟悉的同学，可往前查看本专栏前面介绍的pyppeteer知识点。言归正卷，下面跟着笔者直接往下看正文获取Amazon商品库存的方法。（附带完整代码）​做过亚马逊项目的同学，可能都知道，访问亚马逊的频次达到一定程度之后，会触发该平台的验证码。处理并解决亚马逊平台验证码的问题，感兴趣的同学可以翻阅“Python如何解决Amazon亚马逊“图文验证码”识别(6)”，在该文都有非常详细的解决方法，笔者在本文就不

本文是该专栏的第16篇，结合优质项目案例持续分享Pyppeteer的干货知识，记得关注。​继本专栏前面详细介绍自动登录Facebook之后（Python|Pyppeteer实现自动大批量筛选Facebook账号(9)），本文再单独来介绍使用pyppeteer自动登录Facebook marketplace，并实现商品的自动上架以及自动发布商品。跟着笔者，直接往下看正文登录Facebook marketplace，并自动发布商品信息的方法。（附带完整代码）背景需求：使用python的pyppeteer实现自动

本文是该专栏的第15篇，结合优质项目案例持续分享Pyppeteer的干货知识，记得关注。这里再补充一点，笔者这里设定了一个接收返回数据的接口，将登录成功并获取的cookie以及登录异常的账号进行了标记存储。需启动adspower浏览器的exe程序，并登录你的adspower浏览器的账号，再执行finger_run.py脚本，即可启动自动登录textnow功能。对于pyppeteer比较陌生的同学，笔者这里暂时不详述了，对pyppeteer知识点感兴趣的同学，可查看本专栏前面详细介绍的相关知识点。

本文是该专栏的第14篇，结合优质项目案例持续分享Pyppeteer的干货知识，记得关注。触发一个弹出框，需要输入对应的文件路径。所以说，上图中的文件输入框按钮对应的定位元素，很方便的为pyppeteer提供了自动化的条件。从上图中的定位元素可以看到，有两个input标签，分别对应的是插入图片和视频。至于具体的解决思路，跟着笔者直接往下看正文。成功运行之后，程序脚本会根据你提供的图片或视频路径进行自动选定

本文是该专栏的第13篇，结合优质项目案例持续分享Pyppeteer的干货知识，记得关注。运行程序自动打开浏览器窗口，窗口右侧出现空白区域，上述情况需要怎么解决呢？跟着笔者直接往下看正文详细解决方法，一行代码即可。在开始之前，先在终端安装pyppeteer。如已安装，请忽略该步骤，直接往下看即可。Chromium窗口，你就会看到页面右侧出现大面积区域的空白。出现此问题，需要怎么解决呢？成功运行上述代码，右侧的空白区域就会得到完美解决

本文是该专栏的第12篇，结合优质项目案例持续分享Pyppeteer的干货知识，记得关注。本文要介绍的是Google voice登录，借助于pyppeteer实现。为什么不使用selenium呢？要知道，正常浏览情况下浏览器的window.navigator.webdriver的值为undefined，在使用selenium模拟操作的情况下其值为true，基于这个机制有些网站就会对selenium进行反爬。除此之外，selenium需要配置对应的的浏览器驱动，其配置会比pyppeteer麻烦很多。而使用

值得一提的是，上面的第四点尤为重要，因为Gmail平台的封控因素，手机验证码是必不可少的。换言之，启动adspower的exe程序之后，登录你的adspower账号信息，并且该账号的使用时间权限没有到期。adspower浏览器主要用来做一个登录媒介，一般来说，https代理没有socks5代理安全隐匿性高，而本文中使用的socks5代理就需要用到adspower来实现代理登录。adspower的使用在本专栏之前有具体提到到，感兴趣的同学可查看翻阅之前的文章，或者查看笔者之前写的详细文章介绍“

在select标签的id属性为countryList的里面，有很多国家对应的value值。注意，是select属性下面的option的value值。笔者再补充一点，puppeteer的python版本pyppeteer里，其他环境需要再稍微修改调整，不过大致实现思路是一样的。：这里的#countryList为ID属性为countryList，因为这里仅有唯一的一个ID属性为countryList。比如说，现在需要从这个Country列表中，快速选中某个国家，如巴西，需要怎么做呢？

本文是该专栏的第9篇，结合优质项目案例讲解，后面会持续分享Pyppeteer的干货知识，记得关注。项目背景和需求：使用python实现对Facebook账号进行批量筛选并分类，并对正常登录账号保存cookie，整个流程用并发实现。项目环境：Python，Pyppeteer。在文中会附带源码，下面跟着笔者直接往下看正文详细内容。

本文是该专栏的第8篇，将详细来介绍使用python绕过微软microsoft机器人验证。在注册微软账号或者outlook邮箱账号的时候，基本确定该机器人验证在这个iframe框里面，但是使用pyppeteer获取页面源代码的时候，源代码里面完全获取不到该iframe信息，哪怕使用切换iframe去定位该iframe框信息，也捕获不到信息。3. 本文只单独介绍绕过微软Microsoft的机器人验证，而绕过机器人验证之后，需要解决的图片点选验证，笔者将在下篇文章再单独来详细介绍，感兴趣的同学记得关注

本文介绍使用pyppeteer打开百度搜索页面，输入关键词，并随机点击某个新闻链接，然后再次返回关键词结果页。而我们接下来要做的就是，给该代码增加一个随机点选某个新闻链接的功能。通常情况下，页面结果会有10条，我们可以创建一个随机数组，让程序随机去点选某个新闻链接。：使用pyppeteer打开百度搜索页面，输入关键词，并随机点击搜索词结果页的首页某个新闻链接，然后再次返回关键词结果页。这里需要借助selector定位，关于selector定位方法，这里暂时不详述了，感兴趣的朋友可自行查阅资料。

本文是该专栏的第6篇，结合项目案例让你熟练使用pyppeteer，后面会持续分享Pyppeteer干货知识，无需加入太多规避代码，相对于selenium受检测机制影响，pyppeteer是非常好用，功能也强大。出现这个问题，主要在于Google可以检测出selenium的控件，无论你怎么加入规避方法，还是一样会被检测出来，那难道就没有办法绕过去了吗？运行上述代码之后，你会看到启动一个Chromium浏览器窗口，自动打开gmail登录界面。

笔者这里使用的是无用户模式进行浏览某短视频，登录方法这里就不说明了，所以笔者会使用代码自动登录页面之后，出现该登录二维码，会让代码程序自动关闭该选项。笔者想要说的是，这里使用pyppeteer就可以实现，pyppeteer的强大之处，这里就暂时不详述了。还有一点，笔者在代码中用的一直是向上滑动视频，如果想要向下滑动视频，只需将ArrowDown改为ArrowUp即可。在浏览本文之前，最好了解一些pyppeteer的基本知识，想了解pyppeteer具体知识点的朋友，可查看笔者本专栏之前写的文章(

亚马逊有提供五大榜单，分别为Best Seller（热卖榜）、Hot New Releases（新品榜）、Movers Shakers（飙升榜）、Most Wished for（心愿榜）、Gift Ideas(礼品榜)，如果想要获取这个排名情况的话，直接使用协议请求，一般只能拿到Top1-30，而Top31-50需要拿到请求参数才可以正常获取，对于初级入门的同学来说，或许花费时间成本有点大。而笔者这里提供另外的一种方法，可以自行创建一个任务队列，对所需目标领域进行获取

所以在浏览器中绝大多数操作都可以使用Pyppeteer来完成，比如页面功能测试，自动提交表单，请求响应拦截，导出页面PDF，测试浏览器扩展等。为什么这么说，因为selenium想要定位某个id标签，或者class标签等等，都需要选择对应的id或者class属性方法，就显得非常笨拙和繁琐。但是pyppeteer使用一个定位方法，就可以定位到所有的id标签或者class标签，亦或是其他标签。根据页面唯一标签属性来定位页面元素，意思就是我们需要定位的这个页面标签信息必须为页面上面的唯一值，否则会报错。

所以在浏览器中绝大多数操作都可以使用Pyppeteer来完成，比如页面功能测试，自动提交表单，请求响应拦截，导出页面PDF，测试浏览器扩展等。熟悉selenium的同学都知道，很多平台有自动检测机制，如果单纯的靠页面定位元素去操作网站，并不是一种明智的选择。用过selenium的同学都清楚，简单的去定位页面元素并进行点击输入操作，对于存在反爬的网站，大部分都能检测出来selenium的自动操作行为，而产生各种验证码。所以，自动化操作想要规避网站的自动化检测机制，加入鼠标的操作，是必不可少的。

很多人说，pyppeteer是比selenium更高效的爬虫库，其主要原因在于pyppeteer使用了python的异步协程库Asyncio，而它可结合Scrapy进行分布式爬虫。GitHub上面的地址，可查看如下：需要注意的是，pyppeteer采用了python的Async机制，所以其运行要求的python版本需要3.6以上。pip3 install Pyppeteer # 或者使用 pip install Pyppeteer这里补充一点，