Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者

本文是该专栏的第47篇，后面会持续分享python爬虫干货知识。本文笔者以股票数据猫为例子，基于Python爬虫，批量获取各股票代码数据。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。废话不多说，下面跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第46篇，后面会持续分享python爬虫干货知识。本文笔者以猫眼电影为例子，获取猫眼的影院相关数据。废话不多说，具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。接下来，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第45篇，后面会持续分享python爬虫干货知识。本文以起点中文网为例子，针对起点中文网使用控制台调试出现无限debugger的情况，要如何解决？针对该问题，笔者在正文将介绍详细而又轻松的解决方法。废话不多说，下面跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第44篇，后面会持续分享python爬虫干货知识。本文以爱奇艺平台的电视剧为例，获取电视剧的相关数据信息。废话不多说，具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。接下来，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第43篇，后面会持续分享python爬虫干货知识。​在本专栏之前，笔者在文章《Python爬虫-汽车之家各车系月销量榜数据》中，有详细介绍，如何爬取“各车系车型的月销量榜单数据”的方法以及完整代码教学教程。而本文，笔者同样以汽车之家平台为例，基于python爬取该平台“各车系周销量”的榜单数据。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。废话不多说，下面跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第42篇，后面会持续分享python爬虫干货知识。本文以汽车之家平台为例子，获取所有汽车品牌的“全部品牌ID”，即brandid数据。具体的实现思路以及完整实现代码逻辑，笔者将在正文进行详细介绍。废话不多说，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第41篇，后面会持续分享python爬虫干货知识。本文以某汽车平台为例，基于python采集该平台“各车系月销量”的榜单数据。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。接下来，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第40篇，后面会持续分享python爬虫干货知识。本文以某汽车平台为例，通过python采集其“汽车投诉排行”榜单数据。具体的实现思路以及完整实现代码逻辑，笔者将在正文为你详细介绍。废话不多说，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第39篇，后面会持续分享python爬虫干货知识。本文以eBay为例，通过搜索目标”关键词“，获取相关搜索”关键词“的商品排名数据。废话不多说，具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。接下来，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第38篇，后面会持续分享python爬虫干货知识。在处理爬虫项目的时候，相信有些同学遇到过如下所示的情况：确定接口请求为post请求之后，它的请求参数只有一个value值，并没有key值。换言之，通常情况下，请求参数一般是“key：value”，而你看到的请求参数只有一个“value”。对此，当你遇到这种情况的时候，需要怎么去解决呢？而本文，笔者将针对上述问题，将在正文详细介绍“完整解决方案”并附带“项目案例完整代码”。废话不多说，具体实现思路和详细逻辑，跟着笔者直接往下看正文详细内容。（附带

本文是该专栏的第37篇，后面会持续分享python爬虫干货知识。本文以“亚马逊Amazon”为例，主要获取亚马逊商品详情页的oData参数规律。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。接下来，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第36篇，后面会持续分享python爬虫干货知识。在爬虫项目中，User-Agent 字符串扮演着非常关键的角色。User-Agent 是一个特殊的 HTTP 请求头字段，由客户端（在这种情况下，主要是爬虫或浏览器）发送到服务器，以告诉服务器关于客户端（如浏览器类型、版本、操作系统、渲染引擎等）的信息。换言之，拥有User-Agent是绕开爬虫检测的第一步。那么问题来了，正因为User-Agent的重要性，所以我们在爬虫项目中，最忌讳的是只使用单一User-Agent。这个时候，使用多个随机的

本文是该专栏的第35篇，后面会持续分享python爬虫干货知识。本文，笔记以七猫中文网的小说为例。通过python，实现爬取“指定”小说的全部内容并存储在本地。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。接下来，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第34篇，后面会持续分享python爬虫干货知识。在本文中，笔者将通过某汽车平台，来采集“中国汽车市场”的月销量数据。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。废话不多说，下面跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第33篇，后面会持续分享python爬虫干货知识。在本专栏之前，笔者有详细介绍关于懂车平台的相关爬虫。对此，感兴趣的同学可以点击翻阅查看。而在本文中，笔者将要介绍的是懂车平台另外一种采集需求——获取“指定车型”的销量数据。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。废话不多说，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第32篇，后面会持续分享python爬虫干货知识。本文以某房网为例，如下图所示，采集对应城市的新房房源数据。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。接下来，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第31篇，后面会持续分享python爬虫干货知识。​在本专栏之前的文章《Python爬虫-贝壳二手房》中，笔者有详细介绍，基于python爬虫采集对应城市的二手房数据。而本文中，笔者将基于该项目案例的基础上，进行一个项目代码的“改进版”。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。废话不多说，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第30篇，后面会持续分享python爬虫干货知识。​在本专栏上一篇文章《Python爬虫实现“自动重试”机制的方法（1）》中，笔者有详细介绍在爬虫项目中添加“自动重试”机制的方法，而在本文中，笔者将再次介绍另外一种“自动重试”的实现方法。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。接下来，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第29篇，后面会持续分享python爬虫干货知识。处理过爬虫项目的同学，相信或多或少都知道python爬虫进行数据采集的时候，不可能每次都是100%采集成功，正因为如此，所以才有了爬虫的“自动重试机制”。在web开发中，有时候需要通过网络请求获取数据。但是，网络请求并不总是稳定的，有时会因为多种原因导致请求失败。而我们为了提高程序的稳定性和用户体验，通常会加入重试机制，即我们在请求失败的时候，自动重新发起请求。而本文，笔者将详细介绍一种“python爬虫在运行过程中，出现网络请求失败，从而自动

本文是该专栏的第28篇，后面会持续分享python爬虫干货知识。​在本专栏之前的文章《Python爬虫-批量爬取免费小说并下载保存到本地》中，笔者有详细介绍通过爬虫采集某平台的小说，并批量保存到本地。而本文，笔者以纵横平台的小说为例，通过爬虫采集指定的小说，并将小说保存到本地。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。接下来，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第27篇，后面会持续分享python爬虫干货知识。最近粉丝朋友咨询新能源汽车上牌量数据的爬取方法，对此在本文中，笔者以某汽车平台为例，通过python来实现对“新能源汽车上牌量”的数据进行抓取。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。废话不多说，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第26篇，后面会持续分享python爬虫干货知识。本文以车主之家的汽车详情页为例，获取对应车型的全部汽车相关数据（包含车型配置，车型销售数据，以及上牌数据等等）。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。接下来，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第25篇，后面会持续分享python爬虫干货知识。​在本专栏之前，笔者在文章《Python爬虫-批量爬取星巴克全国门店》里面有详细介绍采集全国门店的方法以及完整代码思路。对此领域感兴趣的同学，可以点击翻阅查看即可。而在本文中，笔者将详细来介绍“批量爬取Manner Coffee”全国门店的方法。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。接下来，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第24篇，后面会持续分享python爬虫干货知识。笔者在本专栏之前，有详细介绍以“懂车帝平台的新能源汽车销量榜单”为例，获取各车型的销量排行榜单数据。而本文，笔者将单独详细来介绍如何获取“近一年的新能源汽车销量榜单”数据。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。接下来，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第23篇，后面会持续分享python爬虫干货知识。最近粉丝留言咨询某汽车平台的汽车销量榜单数据，本文笔者以懂车帝平台为例，采集对应的城市汽车销量榜单数据。具体的详细思路以及代码实现逻辑，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第22篇，后面会持续分享python爬虫干货知识。本文笔者以星巴克为例，通过Python实现批量爬取目标城市的门店数据以及全国的门店数据。具体的详细思路以及代码实现逻辑，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第21篇，后面会持续分享python爬虫干货知识。相信很多同学，都有使用selenium来写爬虫项目或者自动化页面操作项目。同样，也相信很多同学在使用selenium来定位目标元素的时候，或多或少遇见到这样的情况，就是用Xpath定位目标元素的时候，页面有很多“不唯一”且“属性值和对应的元素值”都一模一样的情况。那么，针对上面的情况，如果说我们想要使用selenium定位第一个目标或者是定位第二个目标元素值的话，需要怎么做呢？接下来，笔者以一个基于selenium的爬虫项目来详细介绍针对上述问

本文是该专栏的第20篇，后面会持续分享python爬虫干货知识。我们在使用selenium操作目标页面的时候，可能会遇到如下图所示的情景。在用selenium操作并点击页面元素的时候，会弹出一个文件选择框，需要我们选择目标文件，并点击确认按钮，目标文件才能上传成功。遇到这种情况，需要怎么解决呢？针对上面的问题，其实可以一行代码解决。具体怎么解决，以及详细的解决思路，笔者将在正文结合完整代码进行详细说明。（附带完整代码）

本文是该专栏的第19篇，后面会持续分享python爬虫干货知识。相信有的同学，在处理爬虫项目的时候，有时也会需要你将爬虫项目进行一个可视化展示，方便管理者能及时详细的了解当前爬虫任务的执行进度以及执行情况，甚至需要做一个爬虫监控预警的可视化任务。而本文，笔者将结合一个实际爬虫案例，借助于Prefect 框架，来实现爬虫项目的可视化。Prefect，它是一个开源的工作流自动化框架，专为数据科学和机器学习工作流而设计。它允许用户定义、调度、执行和监控复杂的计算任务，并确保这些任务按照指定的依赖关系和顺序执行。

本文是该专栏的第18篇，后面会持续分享python爬虫干货知识。你是否还在使用selenium 3.0+版本呢？如果还是在使用selenium的旧版本，那就好好看完这篇文章，让你立刻使用上最新的selenium版本——selenium 4.0+版本。我们都知道selenium是一个开源的Web自动化测试工具，主要用于Web应用程序的测试，有的时候甚至也可以用selenium来写爬虫脚本。它可以模拟真实用户在浏览器中的操作，如点击、输入、提交等，从而测试Web应用程序的功能和性能。selenium支持多种主流

本文是该专栏的第17篇，后面会持续分享python爬虫干货知识。笔者在本文以imdb平台为例，采集该平台的最新的电影以及电影预告片数据。除此之外，考虑到目标数据非中文数据，所以会在项目实战代码中增加一个翻译功能。换言之，爬虫采集到的非中文电影数据，通过该翻译功能将直接把非中文数据翻译成中文数据。具体的详细思路以及代码实现逻辑，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第16篇，后面会持续分享python爬虫干货知识。有粉丝朋友私信，问是否可以通过python爬取免费小说并下载保存到本地呢？答案是：肯定的！而本文，笔者将针对上面的需求，以某网站的小说案例为例子，结合“完整代码”详细介绍通过python来批量爬取小说，并将小说批量保存到本地。具体的详细思路以及代码实现逻辑，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第15篇，后面会持续分享python爬虫干货知识。​在本专栏前面，笔者有单独详细介绍采集新能源汽车销量榜，感兴趣的同学，可以往前翻阅查看《Python爬虫-新能源汽车销量榜》。而之后，也有很多同学单独私信，那如果要单独采集某个年份，某个月份的“新能源汽车销量榜”，需要怎么做呢？接下来，笔者同样以某懂车平台的新能源汽车销量榜单为例，获取各车型“对应”年份月份的销量排行榜单数据。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。下面，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第14篇，后面会持续分享python爬虫干货知识。本文以大麦网为例，获取大麦网全部的演出数据以及对应的票价数据。如上图所示，笔者将在本文详细介绍通过python爬虫去获取全国的“演唱会，话剧歌剧，体育比赛，儿童亲子”等等以及其“票价数据”。具体的详细思路以及代码实现逻辑，跟着笔者直接往下看正文详细内容。（附带完整代码）

本文是该专栏的第13篇，后面会持续分享python爬虫案例干货。相信很多同学在处理爬虫项目的时候，会遇到一些网站出现如下图所示的情况。就是当你不论是使用requests进行协议请求，还是使用自动化框架pyppeteer或者selenium都会出现上图中的情况。这相信会或多或少给一些处理该网站爬虫的同学，带来一定困扰。所以当我们在项目过程中，遇到上述情况需要怎么去解决呢？不管你是使用requests，还是使用pyppeteer或者selenium遇到上图中的“您的连接不是私密连接”的问题，只需一行代码即可解决

本文是该专栏的第12篇，后面会持续分享python爬虫案例干货。本文以王者荣耀的英雄皮肤为例，用python实现批量抓取“全部英雄”的皮肤图片，并将图片“批量保存”到本地。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。注意，这里抓取的图片以皮肤海报图为例，长宽像素较大，非常清晰。通过本文的详细介绍，会让你轻松学会抓取各种图片的采集方法和思路。下面，跟着笔者直接往下看正文详细内容。（附带完整代码）上述url请自行解码即可，使用浏览器打开链接之后，直接使用...

本文是该专栏的第11篇，后面会持续分享python爬虫案例干货。本文以懂车平台的新能源汽车销量榜单为例，获取各车型的销量排行榜单数据。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。废话不多说，跟着笔者直接往下看正文详细内容。（附带完整代码）需要注意的是，笔者这里仅以某个城市为例，如需要目标城市的排行榜单，只需更改对应的城市code即可，这点将在本文下面会有详细介绍...

本文是该专栏的第10篇，后面会持续分享python爬虫案例干货。本文以汽车之家新车优惠价为例，获取各车型的优惠价，获取目标url的方法，笔者在这里不做过多详述。不太明白的同学，可以查看本专栏上一篇文章思路即可。具体的详细思路以及采集方法，跟着笔者直接往下看正文详细内容。（附带完整代码）​笔者这里仅以某个城市为例，如果想要获取目标城市的数据，则需要更改对应城市的ID编号即可。数据保存的代码，在本专栏上篇文章有详细介绍，不太明白的同学可以直接翻阅

本文是该专栏的第9篇，后面会持续分享python爬虫案例干货。笔者将在正文中介绍详细的思路以及采集方法，废话不多说，跟着笔者直接往下看正文详细内容。（附带完整代码）使用base64方法获取上述地址的url信息，直接通过浏览器打开目标url，会看到车家号的首页信息。多余的话不说，直接按F12或者Ctrl+Shift+I组合键启动控制台。并通过鼠标将页面滑动到底部的“加载更多”按钮处，如下所示：直接点击“加载更多”按钮（可以尝试多次下拉鼠标并多次点击该按钮），并观察右侧控制台区域的信息。成功点击之后，右侧控制台

本文是该专栏的第8篇，后面会持续分享python爬虫案例干货，记得关注。​观察控制台区域是否有数据刷新，先定位到Network的Fetch/XHR，并尝试用鼠标下拉页面，会看到如下所示结果：直接点击目标地址，并查看请求方式和目标参数信息目标数据只需从json里面提取即可。至于数据保存，可以将目标数据存储在一个目标dict字典中，之后再使用pandas做数据存储即可。不太明白的同学，可以查看本专栏前面的几篇文章，文章都有关于数据存储的详细介绍