Python爬虫之获取淘宝商品信息

这篇博客介绍了如何利用Python的selenium库抓取淘宝商品信息。首先讲解了selenium的基本概念、安装和配置,接着阐述了selenium的元素定位方法。然后,通过实例演示了如何搜索商品、获取商品信息并进行翻页爬取。最后,提供了获取价格、商品名称、付款人数和店铺名称等关键信息的代码示例。
摘要由CSDN通过智能技术生成

首先需要先导入webdriver

from selenium import webdriver
复制代码

webdriver支持主流的浏览器,比如说:谷歌浏览器、火狐浏览器、IE浏览器等等

然后可以创建一个webdriver对象,通过这个对象就可以通过get方法请求网站

driver = webdriver.Chrome()	# 创建driver对象
driver.get('https://www.baidu.com')	# 请求百度
复制代码

接下来可以定义一个方法:search_product

一、selenium的简单介绍

1.selenium简介

selenium是一个用于测试网站的自动化测试工具,支持很多主流的浏览器,比如:谷歌浏览器、火狐浏览器、IE、Safari等。

2.支持多个操作系统

如windows、Linux、IOS、Android等。

3、安装selenium

打开终端输入

pip install Selenium
复制代码

4、安装浏览器驱动

1、Chrome驱动文件下载: 点击下载谷歌浏览器驱动

2、火狐浏览器驱动文件下载: 点击下载geckodriver

5、配置环境变量

配置环境变量的方法非常简单,首先将下载好的驱动进行解压,放到你安装Python的目录下,即可。

因为之前,在配置Python环境变量的时候,就将Python的目录放到我的电脑–>属性–>系统设置–>高级–>环境变量–>系统变量–>Path

二、selenium快速入门

1、selenium提供8种定位方式

1、id

2、name

3、class name

4、tag name

5、link text

6、partial link text

7、xpath

8、css selector

2、定位元素的8中方式详解

定义一个元素 定位多个元素 含义
find_
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值