1 '''
2 爬取京东商品信息:3 请求url:4 https://www.jd.com/5 提取商品信息:6 1.商品详情页7 2.商品名称8 3.商品价格9 4.评价人数10 5.商品商家11 '''
12 from selenium importwebdriver13 from selenium.webdriver.common.keys importKeys14 importtime15
16
17 defget_good(driver):18 try:19
20 #通过JS控制滚轮滑动获取所有商品信息
21 js_code = '''
22 window.scrollTo(0,5000);23 '''
24 driver.execute_script(js_code) #执行js代码
25
26 #等待数据加载
27 time.sleep(2)28
29 #3、查找所有商品div
30 #good_div = driver.find_element_by_id('J_goodsList')
31 good_list = driver.find_elements_by_class_name('gl-item')32 n = 1
33 for good ingood_list:34 #根据属性选择器查找
35 #商品链接
36 good_url =good.find_element_by_css_selector(37 '.p-img a').get_att

本文介绍使用Python的Selenium库爬取京东网站的商品信息,包括商品链接、名称、价格和评价人数。通过JavaScript滚动页面加载更多商品,将数据保存到文本文件中。
最低0.47元/天 解锁文章


被折叠的 条评论
为什么被折叠?



