python数据采集练习 根据指定av号下载bilibili视频（三）【用selenium操纵浏览器行为】

selenium库可以控制浏览器行为。我们用selenium库可以抓取我们所需的网页全部信息。

它需要配合浏览器驱动使用，浏览器驱动可以在selenium官网下载：https://www.seleniumhq.org

注意：要选择与你浏览器相兼容的驱动配合使用

 

关于selenium详细教程这里不累述，本程序使用的是Chrome浏览器，并且会用到如下几个函数：

from selenium import webdriver

driver = webdriver.Chrome()#创建驱动实例

driver.get("https://www.bilibili.com")#打开网页
data = driver.page_source #获得网页源码


driver.add_cookie(cookie) #加入cookie
cookieData = driver.get_cookies() #获得当前网页cookie


currentUrl = driver.current_url #获得当前网页网址
driver.refresh() #刷新网页
driver.close() #关闭网页


button = driver.find_element_by_class_name("bilibili-player") #根据类名查找元素（按钮元素）
button.click() #点击这个按钮

 

driver.get(Url) ：

会使你的浏览器打开一个这个Url

driver.page_source():

它能返回网页源代码，包活html代码，javascript代码等，这也是我们选择用selenium抓取数据的原因。一般的函数如urlopen，requests等无法返回渲染过的javascript代码，而seleniumn能完美解决这个问题

driver.get_cookies()：

如果你需要让浏览器记录登录信息以实现自动登录，我们需要让它能将cookie保存下来，我们可以使用此方法将cookie存储为一个字典，以便下次调用。

driver.add_cookie(cookie):

它能给当前打开的页面添加cookie，一般配合driver.refresh()使用。cookie的效果只会在页面刷新后体现。

driver.find***():

selenium有许多find函数，可以通过不同的关键值返回不同的对象。这里只用find_element_by_class_name，即根据类名查找对象。找到对象（对象有可能是按钮，或者文本框）后我们就可以对对象进行不同的操纵，比如点击，填写数据等等。这里我们用click()，即点击这个对象。

 

关于如何处理cookie，需要用到json库，下期再讲。