安装selenium
pip install selenium
selenium的脚本可以控制所有常见浏览器的操作,在使用之前,需要安装浏览器的驱动
这里使用的是Chrome浏览器
下载驱动及安装方法:
https://localprod.pandateacher.com/python-manuscript/crawler-html/chromedriver/ChromeDriver.html
设置浏览器引擎
from selenium import webdriver #从selenium库中调用webdriver模块
impot time
driver = webdriver.Chrome() # 设置引擎为Chrome,真实地打开一个Chrome浏览器
driver.get('https://h5.ele.me/login/#redirect=https%3A%2F%2Fwww.ele.me%2F') # 访问页面
time.sleep(2) #等待2秒让页面加载完
driver.close() # 关闭浏览器
解析与提取数据
driver是实例化浏览器会自动解析数据。
提取数据方法如下:
# 以下方法都可以从网页中提取出'你好,蜘蛛侠!'这段文字
find_element_by_tag_name:通过元素的名称选择
# 如<h1>你好,蜘蛛侠!</h1>
# 可以使用find_element_by_tag_name('h1')
find_element_by_class_name:通过元素的class属性选择
# 如<h1 class="title">你好,蜘蛛侠!</h1>
# 可以使用find_element_by_class_name('title')
find_element_by_id:通过元素的id选择
# 如&l