1. 先看效果


2. 目标网站
3. 解析,首先找到输入框的id

4. 找到之后编写代码
# 获取输入框的id,并输入关键字python爬虫
browser.find_element_by_id('key').send_keys('python爬虫')
# 输入回车进行搜索
browser.find_element_by_id('key').send_keys(Keys.ENTER)
5. 这样就再输入框中自动输入python爬虫关键字并搜索了,可以看到信息都在ul标签中,但是如果我们往下滚动,那么还会加载一部分的信息,所以我们要模拟滚动条往下拉

6. 模拟滚动条动作,可以看到,信息加载了很多,所以要模拟滚动条拉到下面,加载全部信息
# 将滚动条拉到最下面的位置,因为往下拉才能将这一页的商品信息全部加载出来
browser.execute_script('document.documentElement.scrollTop=10000')

7. 开始获取信息,代码如下
# 开始提取信息,找到ul标签下的全部li标签
lis = browser.find_elements_by_class_name('gl-item')
# 遍历
for li in lis:
# 名字

本文详细介绍了使用Python和Selenium库自动爬取JD.com商品信息的过程,包括搜索、滚动加载、翻页及数据抓取技巧。

最低0.47元/天 解锁文章

1982

被折叠的 条评论
为什么被折叠?



