前言
本文采取python+selenium的方式爬取某东商品信息,模拟人的行为,搜索相应的商品,然后滑轮滚动,加载出所有的商品信息,解析网页获得商品信息,同时实现翻页的操作,达到爬取多页的目的。
商品信息包获商品名字、商品价格、店铺名字、评论数、商品链接等
一、环境准备
环境配置:
python3.8.8 + selenium4.10
环境配置好直接开干!!!
二、分析网站
我呢用的是谷歌浏览器,打开某东的网址,进入网站后 按F12或者鼠标右键弹出提示框点击检查,打开开发者工具。
我们首先是要输入搜索的商品然后在点击搜索的按钮,因为我们用selenium,所以我们是要获得这两个标签,那么问题来了,怎们获得呢?当我们打开开发者工具时,会看到屏幕左上角有一个箭头,点一下箭头,箭头就会变成蓝色,然后在点击一下搜索文本框就会定位到此标签,按Ctrl