python + selenium爬取动态网页信息

selenium大概是万策尽才使用的爬虫手段，网上说这其实是用来自动测试的。

其实看一大堆博客还不如看这里：Selenium with Python中文翻译文档

我非常想写这个博客就是为了吐槽一下，用selenium来爬虫究竟是用来干什么的大家心里没点b树吗？当然是抓数据啊，所以为什么找了好久没有人提这个：

from selenium import webdriver

driver = webdriver.Chrome()
driver.get(URL)
page = driver.page_source
print(page)

这个 driver.page_source 得到的是你按 F12 后得到的 Elements 页面。之前一直没有找到获取这个的方法。现在你就可以写正则提取数据了，爽！

当然，你爬一些静态网页或者一些简单的动态网页，自然有更好方法，没必要非得搞个浏览器出来。

我也是小白一个，如果有更好的办法，麻烦大家告知。我就是因为查这个搞的我要死，最后还是在help文档里看到这个，实在忍不住要吐槽一下。