selenium爬取京东商品

step1:导入必要的包

from selenium import webdriver
import time
import pandas as pd

step2:模拟浏览器，打开京东首页

url = 'https://www.jd.com/'
browser = webdriver.Chrome("C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe")
browser.get(url)

step3:跳转到指定商品页面

#找到页面中的搜索框，然后输入想找的商品
browser.find_element_by_xpath('//*[@id="key"]').send_keys('蔚县小米')	

#找到页面中的搜索键，然后执行click操作
browser.find_element_by_xpath('//*[@id="search"]/div/div[2]/button/i').click()

'''
模拟页面下拉
为什么要模拟页面下拉？
如果不下来，在源码中只会显示30个商品，
下拉之后，会显示60个商品
'''
browser.execute_script('window.scrollTo(0,document.body.scrollHeight)') 
time.sleep(5)

step4:捕获一个商品的信息

#拿到该页面的所有商品
products = browser.find_elements_by_xpath('//li[@class="gl-item"]')