在爬虫京东商品的过程中,遇到的问题:
页面未加载完全,就开始获取数据,应该等待(time.sleep)
**工具:**selenium
库:
from selenium import webdriver
#爬虫网站用到的库
from selenium.webdriver.common.by import By
#在find_element时使用
from selenium.webdriver.support.wait import WebDriverWait
# 在等待加载时使用
from selenium.webdriver.support import expected_conditions as EC
#等待什么时候呢?期待的conditions的时候
import time
#用于模拟人的操作 确保网站加载完成,再进行搜索
开始模拟你的操作:
#打开浏览器
driver = webdriver.Chrome()
#进入京东网 —有自带的get方法,所以就不用模拟找搜索框,再输入,按确定这个过程了
<