抓取需要登陆验证的动态网页

【问题】抓取需要登陆验证的动态网页
【难点】
    1.登陆验证
        传统的模拟登陆实现难度比较大，需要认真分析目标网页的结构，另外可能还会遇到校验等问题
    2.动态网页
        传统的抓取方式抓取的往往是一个空壳网页，动态生成的内容并不能抓取到
【思路】使用脚本工具去控制浏览器，实现动态网页的抓取。可选的方案有很多，本文使用python通过selenium控制Chrome抓取网页，
【工具】selenium + Chrome + Python
【准备】
    1.安装Python 2.7
    2.安装selenium
        pip install selenium
    3.安装Chrome
    4.安装chromedriver
        下载 http://npm.taobao.org/mirrors/chromedriver/77.0.3865.40/chromedriver_mac64.zip
        解压缩后将 chromedriver 移动到 /usr/local/bin 目录
【步骤】
    1.调试模式启动Chrome
        先手动使用调试模式打开浏览器，进入到所需的页面，执行一些手动任务，如输入表单、输入验证码，登陆成功后，然后再开始运行自动化脚本。
        sudo /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --remote-debugging-port=9222
    2.Python获取页面
        #coding:utf-8
        from selenium import webdriver
        from selenium.webdriver.chrome.options import Options
        chrome_options=Options()
        #接管先前已打开的浏览器，而不是开启一个新的浏览器。
        chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
        driver=webdriver.Chrome(chrome_options=chrome_options)
        driver.get("xxx")
        result=driver.page_source
        print result
【关键点】
    先手动使用调试模式打开浏览器，进入到所需的页面，执行一些手动任务，如输入表单、输入验证码，登陆成功后，然后再由自动化脚本接管已经打开的处于调试模式的浏览器。