分析网页信息时遇到嵌套html结构该怎么办？

关键词：爬虫、iframe/frame、网页结构、html、selenium、webdriver

遇到的问题

遇到的网页就像图中的那样，在使用webdriver.page_source()方法获取网页的html内容时，默认获取的是框架1中的内容，嵌套的内容是获取不到的。概念上讲，二者相互独立，是两个html文档树。

接下来先了解一下iframe/frame标签的作用：

iframe 标签

定义和用法

iframe 元素会创建包含另外一个文档的内联框架（即行内框架）。

更详细的内容可以浏览这个链接：http://www.w3school.com.cn/tags/tag_iframe.asp

现在已经可以了解到，嵌套行内框架是通过<iframe> ...</iframe>标签来实现的，也就是说我们只要找到一种能切换到行内框架的方法就行了，这样我们就能切换到这个框架中，然后再使用webdriver.page_source()方法，就能获取到这个嵌套框架的html文档树。

webdriver

刚好，强大的selenium webdriver已经为我们准备好这个方法了，那就是webdriver.switch_to.frame()方法（switch_to 切换；frame 框架）

driver=webdriver.Chrome()
driver.get(LOGIN)
html=driver.page_source
print(html)
print('-----------------------这是分割线-----------------------------')
driver.switch_to.frame(1)       #切换html框架
print(driver.page_source)

效果

分析、更多的用法

webdriver.switch_to.frame()方法接受的参数有标签（id、name、index）以及selenium的WebElement对象。

这是定位到的源码

    def switch_to(self):
        """
        :Returns:
            - SwitchTo: an object containing all options to switch focus into

        :Usage:
            element = driver.switch_to.active_element
            alert = driver.switch_to.alert
            driver.switch_to.default_content()
            driver.switch_to.frame('frame_name')		#根据标签名进行切换
            driver.switch_to.frame(1)    #根据框架索引进行切换[0,1,2,...,n-1]
            driver.switch_to.frame(driver.find_elements_by_tag_name("iframe")[0])    #如果有多个iframe标签，[0]是只第一个
            driver.switch_to.parent_frame()		#切换到父框架
            driver.switch_to.window('main')		#切换到主窗口
        """
        return self._switch_to

    def frame(self, frame_reference):
        """
        Switches focus to the specified frame, by index, name, or webelement.

        :Args:
         - frame_reference: The name of the window to switch to, an integer representing the index,
                            or a webelement that is an (i)frame to switch to.

        :Usage:
            driver.switch_to.frame('frame_name')
            driver.switch_to.frame(1)
            driver.switch_to.frame(driver.find_elements_by_tag_name("iframe")[0])
        """
        if isinstance(frame_reference, basestring) and self._driver.w3c:
            try:
                frame_reference = self._driver.find_element(By.ID, frame_reference)
            except NoSuchElementException:
                try:
                    frame_reference = self._driver.find_element(By.NAME, frame_reference)
                except NoSuchElementException:
                    raise NoSuchFrameException(frame_reference)

推荐阅读

Python+webdriver切换iframe/frame
https://www.cnblogs.com/yaoze2018/p/10403691.html