python爬虫——selenium爬取京东商品信息

本文详细介绍了使用Python和Selenium库自动爬取JD.com商品信息的过程,包括搜索、滚动加载、翻页及数据抓取技巧。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 先看效果

在这里插入图片描述
在这里插入图片描述

2. 目标网站

点击跳转
在这里插入图片描述

3. 解析,首先找到输入框的id

在这里插入图片描述

4. 找到之后编写代码

# 获取输入框的id,并输入关键字python爬虫
    browser.find_element_by_id('key').send_keys('python爬虫')
    # 输入回车进行搜索
    browser.find_element_by_id('key').send_keys(Keys.ENTER)

5. 这样就再输入框中自动输入python爬虫关键字并搜索了,可以看到信息都在ul标签中,但是如果我们往下滚动,那么还会加载一部分的信息,所以我们要模拟滚动条往下拉

在这里插入图片描述

6. 模拟滚动条动作,可以看到,信息加载了很多,所以要模拟滚动条拉到下面,加载全部信息

# 将滚动条拉到最下面的位置,因为往下拉才能将这一页的商品信息全部加载出来
            browser.execute_script('document.documentElement.scrollTop=10000')

在这里插入图片描述

7. 开始获取信息,代码如下

# 开始提取信息,找到ul标签下的全部li标签
lis = browser.find_elements_by_class_name('gl-item')
# 遍历
for li in lis:
    # 名字
 
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值