【Python】完美采集淘宝数据（附完整源代码和视频教程）

pip install selenium

我采用的是利用selenium控制Chrome浏览器，所以咱们需要下载一个selenium与Chrome的桥梁——Chromedriver插件

下载地址

下载与你当前谷歌浏览器版本最相近的Chromedriver

那么像我的话，下载 即可。

Windows系统需下载32位，其它的自己看着办。点进去下载win32即可。

那么如何让Python与selenium连接起来呢，这里咱们需要配置一个环境变量，就是把Python与selenium处于同一个目录：

到此为止，咱们的环境就搭建好了。

分析（x0）

======

登录篇

谈谈selenium与requests的区别：

selenium：操控网页元素，模拟人去控制浏览器，放弃与底层协议的交互，控制于客户端表面（速度慢）

requests：模拟客户端像服务器发送协议请求，处于底层协议的交互。（速度快）

既然是模拟人去控制浏览器就好说了，想要采集某个网站第一步是做什么？

实例化一款需要被控制的浏览器，然后打开该网址：

from selenium import webdriver

driver = webdriver.Chrome()

driver.get(‘http://www.taobao.com’)

然后在输入框中输入咱们需要查找的商品，再点击搜索即可。

咱们今天重点利用到的为xpath网页元素定位法，通过xpath语法去定位元素的位置，因为程序不是人，人可以肉眼知道哪里是输入框，哪里是按钮。而程序需要咱们去告诉它，给它制定位置。

输入Python

driver.find_element_by_id(‘q’).send_keys(‘python’)

点击搜索

driver.find_element_by_class_name(‘btn-search’).click()

定位的方法很多，我这里两句代码用到的是为id定位和类名定位。

最后在停留在登录界面：

咱们采用扫码登录。

既然是这样子做的话，势必会需要一个时间供给你去登录，有人会采用延迟的方式，但是我不建议这样做。

因为延迟的时间不一定就能保证你刚好可以登录完，多了时间少了时间对咱们都不友好。少了时间还没登录上，程序就跑到别的地方去了报错了。多了时间你也懒得等。

所以在此之前咱们程序加上一行

input(‘扫码完成后请按Enter键’)

这样子做的话，咱们可以人为的控制时间。最终登录完成。

分析（x1）

======

数据的提取

登录上去后可以看到很多的商品信息，咱们要采集的就是…都采集下来吧，什么图片、销量、地址、标题啥的

前面咱们提到了通过元素进行输入框自动输入、按钮点击。那么现在要做的就是通过元素定位去采集咱们想要的数据。

分析（x2）

======

通过元素分析我们可以发现，这里的每一个DIV标签都保存了一个商品的信息，而前面三个class属性略有不同。应该是他们自费的一个广告商品吧，排名指定的那种。

简单分析了一下可以看到第三个商品的图片地址在img标签的src中：

然后第47个商品的信息却不完善：

可以很清楚的发现这个商品的src的图片链接是不正常的，是没有图片的。

这个是为什么呢？还记得我前面文章（某音视频采集）讲到过的动态加载、瀑布流吗？当我们的滑动条往下滑的时候下面的数据才会加载出来，像瀑布一样的流出来。

所以如果我们想要采集到所有的商品图片，那么咱们就需要把这个下滑条往下面拉动 ，如何利用selenium控制这个下滑条往下面拉动呢?

for x in range(1, 11, 2):

time.sleep(0.5)

j = x/10

js = ‘document.documentElement.scrollTop = document.documentElement.scrollHeight * %f’ % j

driver.execute_script(js)

每停顿0.5S的时间，拉动下滑条的十分之三的位置。

登录成功后按一下enter键，代码就会跳到下拉滑块的位置，执行下拉。

分析（x3）

======

数据都加载出来了后，咱们只管采集就好啦。采集的规则利用的是xpath定位法，这里我不做过多讲解。看我代码然后自己分析一下。

lis = driver.find_elements_by_xpath(‘//div[@class=“items”]/div[@class="item J_MouserOnverReq "]’)

for li in lis:

info = li.find_element_by_xpath(‘.//div[@class=“row row-2 title”]’).text

price = li.find_element_by_xpath(‘.//a[@class=“J_ClickStat”]’).get_attribute(‘trace-price’) + ‘元’

deal = li.find_element_by_xpath(‘.//div[@class=“deal-cnt”]’).text

image = li.find_element_by_xpath(‘.//div[@class=“pic”]/a/img’).get_attribute(‘src’)

name = li.find_element_by_xpath(‘.//div[@class=“shop”]/a/span[2]’).text

position = li.find_element_by_xpath(‘.//div[@class=“row row-3 g-clearfix”]/div[@class=“location”]’).text

print(info + ‘|’ + price + ‘|’ + deal + ‘|’ + name + ‘|’ + image + ‘|’ + position)

效果：

做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。

别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。

我先来介绍一下这些东西怎么用，文末抱走。

---

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

（4）200多本电子书

这些年我也收藏了很多电子书，大概200多本，有时候带实体书不方便的话，我就会去打开电子书看看，书籍可不一定比视频教程差，尤其是权威的技术书籍。

基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。

（5）Python知识点汇总

知识点汇总有点像学习路线，但与学习路线不同的点就在于，知识点汇总更为细致，里面包含了对具体知识点的简单说明，而我们的学习路线则更为抽象和简单，只是为了方便大家只是某个领域你应该学习哪些技术栈。

（6）其他资料

还有其他的一些东西，比如说我自己出的Python入门图文类教程，没有电脑的时候用手机也可以学习知识，学会了理论之后再去敲代码实践验证，还有Python中文版的库资料、MySQL和HTML标签大全等等，这些都是可以送给粉丝们的东西。

这些都不是什么非常值钱的东西，但对于没有资源或者资源不是很好的学习者来说确实很不错，你要是用得到的话都可以直接抱走，关注过我的人都知道，这些都是可以拿到的。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！