爬虫 selenium

selenium

一、声明浏览器对象

二、打开网页，进入百度

三、查找元素

四、获取元素信息，获取属性

五、元素的交互

六、下拉进度条

七、动作链

八、等待

九、浏览器的前进的后退

十、选项卡管理

十一、异常处理

十二、常用键的操作

十三、登录操作

十四、爬取京东商品，爬取一页

十五、爬取多页

十六、无界面模式

十七、股票代码抓取

一、声明浏览器对象

#声明浏览器对象
import os
os.chdir(r'D:\数分学习资料\python\爬虫')  
from selenium import webdriver
browser=webdriver.Chrome()#会打开浏览器
browser.maximize_window()

二、打开网页，进入百度

#打开网页，进入百度
import time
import os
os.chdir(r'D:\数分学习资料\python\爬虫')
from selenium import webdriver
browser=webdriver.Chrome()#会打开浏览器
browser.get('https://www.baidu.com/')
browser.maximize_window()
print(browser.page_source)#输出网页源码
time.sleep(5)
browser.close()#关闭浏览器

三、查找元素

import time
import os
os.chdir(r'D:\数分学习资料\python\爬虫')
from selenium import webdriver
browser=webdriver.Chrome()#会打开浏览器
browser.get('https://www.jd.com/?cu=true&utm_source=baidu-pinzhuan&utm_medium=cpc&utm_campaign=t_288551095_baidupinzhuan&utm_term=0f3d30c8dba7459bb52f2eb5eba8ac7d_0_48e850d4018f41318337c62af7d885ba')
input=browser.find_element_by_id('key')#
input.send_keys('手机')
browser.find_element_by_class_name('button').click()#回车
time.sleep(10)
browser.close()#关闭浏览器

#input=browser.find_element_by_name("q")#根据name
#input_second=browser.find_element_by_css_selector("#q")#根据css获取，点：类名，#:id名
#input_third=browser.find_element(By.ID,"q")#根据id获取

四、获取元素信息，获取属性

#获取元素信息，获取属性
from selenium import webdriver
browser=webdriver.Chrome()
url="https://www.zhihu.com/explore"
browser.get(url)
logo=browser.find_element_by_id("zh-top-link-logo")
print(logo)
print(logo.get_attribute("class"))
print(logo.text)
print(logo.id) #id
print(logo.location) #位置
print(logo.tag_name) #标签名
print(logo.size) #大小

五、元素的交互

#元素的交互
import time
import os
os.chdir(r'D:\数分学习资料\python\爬虫')
from selenium import webdriver
browser=webdriver.Chrome()#会打开浏览器
browser.get('https://www.jd.com/?cu=true&utm_source=baidu-pinzhuan&utm_medium=cpc&utm_campaign=t_288551095_baidupinzhuan&utm_term=0f3d30c8dba7459bb52f2eb5eba8ac7d_0_48e850d4018f41318337c62af7d885ba')
input=browser.find_element_by_id('key')#
input.send_keys('连衣裙')
input.clear()#清空
input.send_keys('手机')
browser.find_element_by_class_name('button').click()#回车
time.sleep(10)
browser.close()#关闭浏览器

六、下拉进度条

#下拉进度条
import time
import os
os.chdir(r'D:\数分学习资料\python\爬虫')
from selenium import webdriver
browser=webdriver.Chrome()#会打开浏览器
browser.get('https://www.jd.com/?cu=true&utm_source=baidu-pinzhuan&utm_medium=cpc&utm_campaign=t_288551095_baidupinzhuan&utm_term=0f3d30c8dba7459bb52f2eb5eba8ac7d_0_48e850d4018f41318337c62af7d885ba')
input=browser.find_element_by_id('key')#
input.send_keys('连衣裙')
time.sleep(2)
input.clear()
input.send_keys('手机')
browser.find_element_by_class_name('button').click