Python爬虫关于多层嵌套iframe的解决

近期由于公司资源需要，我爬取了一个视频网站，结果以为一个很容易的小爬虫，却步步是坑啊，费了一天终于都解决了（太菜了！！！）。

前面导航页的爬虫就不多说了，无非就是webdriver和PhantomJS,然后设置referer和ua，就可以一层一层访问了。其实大多数的网站的防爬都会这么做。

然后到了详情页面，就是我遇到的最困难的一步了。网站为了防止爬虫，嵌套了3层iframe，并且每个iframe都有很多限制，单独打开无法得到想要的数据。

但是PhantomJS获取到的网站源码即使是js加载完成以后的源码也是无法得到iframe里面的源码的，在网上找了很多方法，然后终于找到了方法。

driver.get(url)
iframe = driver.find_elements_by_tag_name('iframe')[1]
driver.switch_to.frame(iframe)                          # 最重要的一步
soup = BeautifulSoup(driver.page_source, "html.parser")

最主要的就是driver.switch_to.frame(iframe) 这个方法，它会尽到iframe里面去执行，这样的话就不需要你在去设置referer之类的了，很方便的就访问了。到这一步大多数的iframe里面的东西就可以取到了。

但是！！！这个网站防爬还是做的比较不错了，iframe里面的数据还是获取不到视频的源，js代码都执行了。没办法了，最后使用webdriver.Chrome方法才获取到了数据。看来PhantomJS还是有一些功能限制啊。

每次访问不能一直打开浏览器呀，这样在服务器也无法实现，幸好webdriver.Chrome还提供方法实现无窗口访问，代码就是这样的：

chrome_options = Options()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome('/usr/local/Sunanang/chromedriver/chromedriver',
                          chrome_options=chrome_options)

到此，基本的功能也实现了。
具体实现代码如下：

# -*- coding: utf-8 -*-
from selenium import webdriver
from bs4 import BeautifulSoup
from selenium.webdriver.chrome.options import Options
import sys
from pyvirtualdisplay import Display

chrome_options = Options()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome('/usr/local/Sunanang/chromedriver/chromedriver',
                          chrome_options=chrome_options)


def getDriverHttp(url):
    driver.get(url)
    iframe = driver.find_elements_by_tag_name('iframe')[1]
    driver.switch_to.frame(iframe)                          # 最重要的一步
    soup = BeautifulSoup(driver.page_source, "html.parser")
    return soup


def getVideoUrl(url):
    soup = getHttp(url)
    miPlayer = soup.find('div',id='J_miPlayer')
    url = miPlayer.find('video').get('src')
    driver.quit()
    return url


if __name__ == '__main__':
    path = getVideoUrl(u'http://aaxxy.com/vod-play-id-10788-src-1-num-2.html')
# path = getVideoUrl(url==sys.argv[1])
    print path

最后才发现代码真的非常非常少，结果费了一天的功夫才解决。记录一下，提醒一下自己有多菜。