python爬虫爬取京东商品评价_python爬取京东商品信息及评论

本文介绍了一个Python爬虫程序,利用Selenium库模拟浏览器行为,爬取京东商品详情页的商品名称、价格、好评度、评价标签以及用户评价内容,包括用户名、星级、评论、图片、购买类型、日期、点赞数等信息。程序可以处理多个商品页面,并通过滚动加载和点击下一页按钮获取更多信息。
摘要由CSDN通过智能技术生成

'''

爬取京东商品信息:

功能: 通过chromeDrive进行模拟访问需要爬取的京东商品详情页(https://item.jd.com/100003196609.html)并且程序支持多个页面爬取,输入时以逗号分隔,

思路: 创建webdriver对象并且调用get方法请求url,进入页面根据dom结构爬取一些简要信息,之后

通过模拟点击商品评价按钮,再分别解析没个用户的评价信息,到每页的底部时,模拟点击下一页按钮

获取新的一页数据。

提取商品信息:

商品名称: {goods_name}

商品价格: {goods_price}

好评度: {percent_con}

评价标签: {tags}

评价类型

姓名:{username}

星级:{star}

文字:{word}

评价图片: {picList}

购买类型: {order_type}

购买日期:{order_date}

点赞人数: {likes}

评论人数: {

'''

from selenium import webdriver

from selenium.common.exceptions import NoSuchElementException

from selenium.webdriver.common.keys import Keys

import time

# 根据类名用来判断元素是否存在

def isElementPresent(driver, element):

"""

用来判断元素标签是否存在,

"""

try:

driver.find_element_by_class_name(element)

# 原文是except NoSuchElementException, e:

except NoSuchElementException as e:

# 发生了NoSuchElementException异常,说明页面中未找到该元素,返回False

return F

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值