使用selenium

使用selenium基本步骤

from selenium import webdriver
import time
driver = webdriver.Chrome()  #操作浏览器
url = 'http://www.baidu.com'
driver.get(url)  #跳转浏览器界面
with open('baidu.html','wb') as f:
    f.write(driver.page_source.encode('utf-8'))
#可以加载出用之前方式没有的东西

通过搜索，用程序跳转至搜索页面

#通过搜索查询的东西，找到kw,百度一下的审查元素，用程序直接跳转到刚刚搜索的页面
from selenium import webdriver
import time
driver = webdriver.Chrome()  #操作浏览器
url = 'http://www.baidu.com'
driver.get(url)  #跳转浏览器界面
driver.find_element_by_id('kw').send_keys('世外桃源')  #在百度中搜索的内容，审查元素
driver.find_element_by_id('su').click()   #百度一下的按钮，点击
with open('baidu.html','wb') as f:
    f.write(driver.page_source.encode('utf-8'))