Selenium爬取京东数据

导入必要的包

这些包我是记不住了，看来每次用都要来看一下

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
from lxml import etree
import time
import pymongo

启动Chrome

将phantomjs放到环境变量里后，同样可以用
wait是简写，方便之后调用
此时可以打开chrome

broswer = webdriver.Chrome()
broswer.maximize_window()
wait = WebDriverWait(broswer,10)

搜索美食页面

By.CSS_SELECTOR是指通过选择器selector，选定位置，引号中内容为网页中复制该位置的selector
先找到输入框的位置，在找到可以点击确定的位置
total为总页数

def search():
    broswer.get("https://www.jd.com")
    try:
        input = wait.until(
            EC.presence_of