【Python】完美采集淘宝数据，2024金九银十

分析（x4）

总结

我有话说

---

前言

==

大家好，我叫善念。不说漂亮话，直接开始今天要采集的目标：某宝数据

今天要采用的方式是selenium自动化工具。

简单说下selenium的原理——利用网页元素控制浏览器。

准备

==

安装selenium模块：

pip install selenium

我采用的是利用selenium控制Chrome浏览器，所以咱们需要下载一个selenium与Chrome的桥梁——Chromedriver插件

下载地址

下载与你当前谷歌浏览器版本最相近的Chromedriver

那么像我的话，下载 即可。

Windows系统需下载32位，其它的自己看着办。点进去下载win32即可。

那么如何让Python与selenium连接起来呢，这里咱们需要配置一个环境变量，就是把Python与selenium处于同一个目录：

到此为止，咱们的环境就搭建好了。

分析（x0）

======

登录篇

谈谈selenium与requests的区别：

selenium：操控网页元素，模拟人去控制浏览器，放弃与底层协议的交互，控制于客户端表面（速度慢）

requests：模拟客户端像服务器发送协议请求，处于底层协议的交互。（速度快）

既然是模拟人去控制浏览器就好说了，想要采集某个网站第一步是做什么？

实例化一款需要被控制的浏览器，然后打开该网址：

from selenium import webdriver

driver = webdriver.Chrome()

driver.get(‘http://www.taobao.com’)

然后在输入框中输入咱们需要查找的商品，再点击搜索即可。

咱们今天重点利用到的为xpath网页元素定位法，通过xpath语法去定位元素的位置，因为程序不是人，人可以肉眼知道哪里是输入框，哪里是按钮。而程序需要咱们去告诉它，给它制定位置。

输入Python

driver.find_element_by_id(‘q’).send_keys(‘python’)

点击搜索

driver.find_element_by_class_name(‘btn-search’).click()

定位的方法很多，我这里两句代码用到的是为id定位和类名定位。

最后在停留在登录界面：

咱们采用扫码登录。

既然是这样子做的话，势必会需要一个时间供给你去登录，有人会采用延迟的方式，但是我不建议这样做。

因为延迟的时间不一定就能保证你刚好可以登录完，多了时间少了时间对咱们都不友好。少了时间还没登录上，程序就跑到别的地方去了报错了。多了时间你也懒得等。

所以在此之前咱们程序加上一行

input(‘扫码完成后请按Enter键’)

这样子做的话，咱们可以人为的控制时间。最终登录完成。

分析（x1）

======

数据的提取

登录上去后可以看到很多的商品信息，咱们要采集的就是…都采集下来吧，什么图片、销量、地址、标题啥的

前面咱们提到了通过元素进行输入框自动输入、按钮点击。那么现在要做的就是通过元素定位去采集咱们想要的数据。

分析（x2）

======

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V：vip1024c 备注Python获取（资料价值较高，非无偿）

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

mg-blog.csdnimg.cn/d66e3ad5592f4cdcb197de0dc0438ec5.png#pic_center)

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。