python爬虫爬商品库存_python爬虫实践——爬取京东商品信息

本文介绍使用Python的Selenium库爬取京东网站的商品信息,包括商品链接、名称、价格和评价人数。通过JavaScript滚动页面加载更多商品,将数据保存到文本文件中。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1 '''

2 爬取京东商品信息:3 请求url:4 https://www.jd.com/5 提取商品信息:6 1.商品详情页7 2.商品名称8 3.商品价格9 4.评价人数10 5.商品商家11 '''

12 from selenium importwebdriver13 from selenium.webdriver.common.keys importKeys14 importtime15

16

17 defget_good(driver):18 try:19

20 #通过JS控制滚轮滑动获取所有商品信息

21 js_code = '''

22 window.scrollTo(0,5000);23 '''

24 driver.execute_script(js_code) #执行js代码

25

26 #等待数据加载

27 time.sleep(2)28

29 #3、查找所有商品div

30 #good_div = driver.find_element_by_id('J_goodsList')

31 good_list = driver.find_elements_by_class_name('gl-item')32 n = 1

33 for good ingood_list:34 #根据属性选择器查找

35 #商品链接

36 good_url =good.find_element_by_css_selector(37 '.p-img a').get_att

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值