python爬虫网站代码嵌套多层_Python爬虫关于多层嵌套iframe的解决

近期由于公司资源需要，我爬取了一个视频网站，结果以为一个很容易的小爬虫，却步步是坑啊，费了一天终于都解决了(太菜了！！！)。

前面导航页的爬虫就不多说了，无非就是webdriver和PhantomJS,然后设置referer和ua，就可以一层一层访问了。其实大多数的网站的防爬都会这么做。

然后到了详情页面，就是我遇到的最困难的一步了。网站为了防止爬虫，嵌套了3层iframe，并且每个iframe都有很多限制，单独打开无法得到想要的数据。

但是PhantomJS获取到的网站源码即使是js加载完成以后的源码也是无法得到iframe里面的源码的，在网上找了很多方法，然后终于找到了方法。

driver.get(url)

iframe = driver.find_elements_by_tag_name('iframe')[1]

driver.switch_to.frame(iframe) # 最重要的一步

soup = BeautifulSoup(driver.page_source, "html.parser")

1

2

3

4

最主要的就是driver.switch_to.frame(iframe) 这个方法，它会尽到iframe里面去执行，这样的话就不需要你在去设置referer之类的了，很方便的就访问了。到这一步大多数的iframe里面的东西就可以取到了。

但是！！！这个网站防爬还是做的比较不错了，iframe里面的数据还是获取不到视频的源，js代码都执行了。没办法了，最后使用webdriv