前言
==
大家好,我叫善念。不说漂亮话,直接开始今天要采集的目标:某宝数据
今天要采用的方式是selenium自动化工具。
简单说下selenium的原理——利用网页元素控制浏览器。
准备
==
安装selenium模块:
pip install selenium
我采用的是利用selenium控制Chrome浏览器,所以咱们需要下载一个selenium与Chrome的桥梁——Chromedriver插件
下载与你当前谷歌浏览器版本最相近的Chromedriver
那么像我的话,下载 即可。
Windows系统需下载32位,其它的自己看着办。点进去下载win32即可。
那么如何让Python与selenium连接起来呢,这里咱们需要配置一个环境变量,就是把Python与selenium处于同一个目录:
到此为止,咱们的环境就搭建好了。
分析(x0)
======
登录篇
谈谈selenium与requests的区别:
selenium:操控网页元素,模拟人去控制浏览器,放弃与底层协议的交互,控制于客户端表面(速度慢)
requests:模拟客户端像服务器发送协议请求,处于底层协议的交互。(速度快)
既然是模拟人去控制浏览器就好说了,想要采集某个网站第一步是做什么?
实例化一款需要被控制的浏览器,然后打开该网址:
from selenium import webdriver
driver = webdriver.Chrome()
driver.get(‘http://www.taobao.com’)
然后在输入框中输入咱们需要查找的商品,再点击搜索即可。
咱们今天重点利用到的为xpath网页元素定位法,通过xpath语法去定位元素的位置,因为程序不是人,人可以肉眼知道哪里是输入框,哪里是按钮。而程序需要咱们去告诉它,给它制定位置。
输入Python
driver.find_element_by_id(‘q’).send_keys(‘python’)
点击搜索
driver.find_element_by_class_name(‘btn-search’).click()
定位的方法很多,我这里两句代码用到的是为id定位和类名定位。
最后在停留在登录界面:
咱们采用扫码登录。
既然是这样子做的话,势必会需要一个时间供给你去登录,有人会采用延迟的方式,但是我不建议这样做。
因为延迟的时间不一定就能保证你刚好可以登录完,多了时间少了时间对咱们都不友好。少了时间还没登录上,程序就跑到别的地方去了报错了。多了时间你也懒得等。
所以在此之前咱们程序加上一行
input(‘扫码完成后请按Enter键’)
这样子做的话,咱们可以人为的控制时间。最终登录完成。
分析(x1)
======
数据的提取
登录上去后可以看到很多的商品信息,咱们要采集的就是…都采集下来吧,什么图片、销量、地址、标题啥的
前面咱们提到了通过元素进行输入框自动输入、按钮点击。那么现在要做的就是通过元素定位去采集咱们想要的数据。
分析(x2)
======
通过元素分析我们可以发现,这里的每一个DIV标签都保存了一个商品的信息,而前面三个class属性略有不同。应该是他们自费的一个广告商品吧,排名指定的那种。
简单分析了一下可以看到第三个商品的图片地址在img标签的src中:
然后第47个商品的信息却不完善:
可以很清楚的发现这个商品的src的图片链接是不正常的,是没有图片的。
这个是为什么呢?还记得我前面文章(某音视频采集)讲到过的动态加载、瀑布流吗?当我们的滑动条往下滑的时候下面的数据才会加载出来,像瀑布一样的流出来。
所以如果我们想要采集到所有的商品图片,那么咱们就需要把这个下滑条往下面拉动 ,如何利用selenium控制这个下滑条往下面拉动呢?
for x in range(1, 11, 2):
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Python开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024c (备注Python)
感谢每一个认真阅读我文章的人,看着粉丝一路的上涨和关注,礼尚往来总是要有的:
① 2000多本Python电子书(主流和经典的书籍应该都有了)
② Python标准库资料(最全中文版)
③ 项目源码(四五十个有趣且经典的练手项目及源码)
④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)
⑤ Python学习路线图(告别不入流的学习)
e_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poaWd1aWd1,size_16,color_FFFFFF,t_70)
感谢每一个认真阅读我文章的人,看着粉丝一路的上涨和关注,礼尚往来总是要有的:
① 2000多本Python电子书(主流和经典的书籍应该都有了)
② Python标准库资料(最全中文版)
③ 项目源码(四五十个有趣且经典的练手项目及源码)
④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)
⑤ Python学习路线图(告别不入流的学习)