python爬虫

Day3Selenium学习

优点：
Selenium对于一些JavaScript动态渲染的页面来说，这种抓取方法很有效。
缺点：
速度慢，占用资源太多，对网络要求高.。

1驱动浏览器加载网页

    from selenium  import webdriver
    from time import sleep
    url = 'https://y.qq.com/portal/search.html#page=1&searchid=1&remoteplace=txt.yqq.top&t=song&w=%E5%86%B0%E9%9B%AA%E5%A5%87%E7%BC%982'
    # 搜索歌曲页面
    driver = webdriver.Chrome()#打开谷歌浏览器
    driver.get(url)
    sleep(10)
    driver.quit()#退出浏览器

2查找节点

find_element_by_id()
find_element_by_name()
find_element_by_xpath()
find_element_by_link_text()
find_element_by_class_name()
find_element_by_tag_name()

就比如，我想提取QQ音乐搜索框这个节点：

    from selenium  import webdriver
    from time import sleep
    url = 'https://y.qq.com/portal/search.html#page=1&searchid=1&remoteplace=txt.yqq.top&t=song&w=%E5%86%B0%E9%9B%AA%E5%A5%87%E7%BC%982'
    # 搜索歌曲页面
    driver = webdriver.Chrome()#打开谷歌浏览器
    driver.get(url)
    res = driver.find_element_by_class_name('icon_search.sprite')
    print(res)
    driver.quit()#退出浏览器

运行结果：
以上是单个节点的查找方法
还有多节点，就是在函数中element，改为elements，会得到一个列表

3切换Frame

switch_to.frame()#切换到子frame
switch_to.parent_frame()#返回父级frame

4延时等待

在selenium中为了确保节点已经加载出来，这里可以延时等待一段时间，显示等待效果较好
显示等待

from selenium import webdreiver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expectde_condition asEs
browser = webdriver.Chrome()
browser.get()
wait = WebDriverWait(browser,10)
input = wait.until(Ec.presence_of_element_located(By.ID,'q'))
botton = wait.until(Ec.element_to_be_clickable(By.Css_SELECTOR,'q'))

隐式等待

from selenium import webdriver
driver = webdriver.Chrome()
driver.implicitly_wait(10)
driver.get('https://y.qq.com/portal/search.html#page=1&searchid=1&remoteplace=txt.yqq.top&t=song&w=%E5%86%B0%E9%9B%AA%E5%A5%87%E7%BC%982')
intput = driver.find_element_by_class_name('icon_search.sprite')
print(input)