Python爬取苏宁易购商品数据并作可视化-CSDN博客

本文链接：https://blog.csdn.net/python56123/article/details/134973698

本文介绍了使用Python 3.8和PyCharm专业版，结合Selenium和谷歌浏览器进行数据爬取的过程。作者展示了如何打开网页、下拉加载、提取和保存商品数据，并进行了数据可视化展示。文章结尾鼓励读者通过提供的资源继续学习和努力。

摘要由CSDN通过智能技术生成

嗨喽~大家好呀，这里是魔王呐 ❤ ~!

python更多源码/资料/解答/教程等点击此处跳转文末名片免费获取

环境介绍:

python 3.8
pycharm 专业版
selenium
谷歌浏览器
浏览器驱动

数据获取代码

导入模块

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
import csv

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：926207505
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
with open('苏宁.csv', mode='w', encoding='utf-8', newline='') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow(['title', 'price', 'comment_count', 'store_stock', 'img_url', 'href'])

打开谷歌浏览器

driver = webdriver.Chrome()

打开一个网页

driver.get('https://search.suning.com/iPhone/')
for page in range(33):
    time.sleep(1)

下拉页面

    driver.execute_script('document.querySelector("body > div.ng-footer > div.ng-s-footer").scrollIntoView()')
    time.sleep(1)
    driver.execute_script('document.querySelector("body > div.ng-footer > div.ng-s-footer").scrollIntoView()')
    time.sleep(1)

提取数据

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：926207505
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
    divs = driver.find_elements(By.CSS_SELECTOR, '.product-box')
    for div in divs:
        title = div.find_element(By.CSS_SELECTOR, '.title-selling-point').text
        price = div.find_element(By.CSS_SELECTOR, '.price-box').text
        comment_count = div.find_element(By.CSS_SELECTOR, '.evaluate-old.clearfix').text
        store_stock = div.find_element(By.CSS_SELECTOR, '.store-stock')