使用Python的自动化工具Selenium爬取京东商品评论

本文介绍了一次课程作业中使用Python的Selenium自动化工具爬取京东商品评论的过程,包括环境配置、Chrome驱动的选用、评论元素的定位以及如何将数据保存为CSV文件。读者将了解到如何在Python环境中结合Selenium进行网页自动化操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

课程作业要求,遂学习了python的自动化selenium工具,并爬取京东商品评论数据练练手。

目录:

一、环境

二、第三方库

三、分析

1.1 chrome驱动

1.2 定位评论元素

1.3 循环爬取评论数据并保存为CVS文件导出

其中xpath对应网页元素

         评论:

         用户名:

四、代码

五、结果


 


一、环境

我使用的是windows+python3.6+pycharm,大家自己去下载对应的环境。

二、第三方库

from selenium import webdriver
from time import sleep
import csv

三、分析

1.1 chrome驱动

browser = webdriver.Chrome()#需要使用chrome的调用驱动chormedrive导入script目录

调用浏览器需要下载对应的chrome驱动到项目工程目录

我的目录是C:\Users\Administrator\PycharmProjects\python\venv\Scripts

需要注意的是chrome浏览器的版本号需要与对应驱动版本号对应,不然会报错。

### 使用 Selenium 抓取京东商品评论 #### 导入必要的工具包 为了实现这一目标,首先需要导入所需的 Python 库。这包括 `selenium` 和其他辅助库,如 `time` 来控制执行速度以及 `pandas` 或者 `csv` 用来处理和保存数据。 ```python from selenium import webdriver import time import pandas as pd ``` #### 启动浏览器实例登录查看商品页面 创建 WebDriver 实例以打开 Chrome 浏览器,导航至特定的商品详情页。这里假设已经解决了可能存在的反爬虫机制,比如通过设置无头模式或配置合适的 User-Agent 头部信息。 ```python options = webdriver.ChromeOptions() # options.add_argument('--headless') # 可选参数, 如果不需要显示浏览器窗口可开启此选项 driver = webdriver.Chrome(options=options) url = 'https://item.jd.com/{product_id}.html'.format(product_id='100027896345') driver.get(url) time.sleep(3) # 等待页面加载完成 ``` #### 查找商品评论部分 一旦进入了指定的产品页面,下一步就是定位到包含用户评价的部分。通常可以通过查找具有特定类名或其他唯一标识符的 HTML 元素来做到这一点。 ```python comment_section = driver.find_element_by_class_name('comment-item') comments = comment_section.find_elements_by_tag_name('li') ``` #### 获取单页内的所有评论条目 遍历找到的所有 `<li>` 标签下的子节点获取每条评论的具体内容和其他相关信息(例如评分星级),将这些信息整理成结构化的形式以便后续分析。 ```python data_list = [] for item in comments: try: content = item.text.split('\n')[0] # 提取消除换行后的首行作为正文 star_rating = int(item.find_element_by_css_selector('.ui-star .star-num').text.strip()) data_dict = { 'content': content, 'rating': star_rating } data_list.append(data_dict) except Exception as e: print(f'Error occurred while processing a review: {e}') ``` #### 自动翻页继续抓取更多评论 如果希望收集更多的反馈意见,则可以在当前页面底部寻找分页链接按钮点击进入下一页重复上述过程直到达到设定的最大数量限制为止。 ```python while True: next_button = driver.find_element_by_link_text('下一页>') if not next_button.is_enabled(): break next_button.click() time.sleep(3) # 给予足够的时间让新页面完全渲染出来再读取新的评论列表 ... ``` 以上代码片段展示了如何利用 Selenium 结合简单的逻辑判断实现对京东平台上某件商品全部可见用户评论的有效采集[^3]。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值