python爬取动态网页_【python动态网页爬取方法是什么?这是你python实战的必备技能】- 环球网校...

【摘要】现在学习python的人越来越来多，不过小编想问一句，你真的了解python动态网页爬取方法是什么?这是你python实战的必备技能，为了让大家都能有正确的python学习方法，所以小编就为大家整理了《python动态网页爬取方法是什么?这是你python实战的必备技能》。

python有许多库可以让我们很方便地编写网络爬虫，爬取某些页面，获得有价值的信息!但许多时候，爬虫取到的页面仅仅是一个静态的页面，即网页 的源代码，就像在浏览器上的“查看网页源代码”一样。一些动态的东西如javascript脚本执行后所产生的信息，是抓取不到的，这里暂且先给出这么一 些方案，可用于python爬取js执行后输出的信息。

1、python动态网页爬取方法是什么——用dryscrape库动态抓取页面

js脚本是通过浏览器来执行并返回信息的，所以，抓取js执行后的页面，一个最直接的方式就是用python模拟浏览器的行为。WebKit 是一个开源的浏览器引擎，python提供了许多库可以调用这个引擎，dryscrape便是其中之一，它调用webkit引擎来处理包含js等的网页!

import dryscrape

# 使用dryscrape库 动态抓取页面

def get_url_dynamic(url):

session_req=dryscrape.Session()

session_req.visit(url) #请求页面

response=session_req.body() #网页的文本

#print(response)

return response

get_text_line(get_url_dynamic(url)) #将输出一条文本

这里对于其余包含js的网页也是适用的!虽然可以满足抓取动态页面的要求，但缺点还是很明显的：慢!太慢了，其实想一想也合理，python调用 webkit请求页面，而且等页面加载完，载入js文件，让js执行，将执行后的页面返回，慢一点也是应该的!除外还有很多库可以调用 webkit：PythonWebkit，PyWebKitGit，Pygt(可以用它写个浏览器)，pyjamas等等，听说它们也可以实现相同的功能!

2、python动态网页爬取方法是什么——selenium web测试框架

selenium是一个web测试框架，它允许调用本地的浏览器引擎发送网页请求，所以，它同样可以实现抓取页面的要求。

# 使用 selenium webdriver 可行，但会实时打开浏览器窗口

def get_url_dynamic2(url):

driver=webdriver.Firefox() #调用本地的火狐浏览器，Chrom 甚至 Ie 也可以的

driver.get(url) #请求页面，会打开一个浏览器窗口

html_text=driver.page_source

driver.quit()

#print html_text

return html_text

get_text_line(get_url_dynamic2(url)) #将输出一条文本

这也不失为一条临时的解决方案!与selenium类似的框架还有一个windmill，感觉稍复杂一些，就不再赘述!

以上就是《python动态网页爬取方法是什么?这是你python实战的必备技能》的全部内容，如果你想学好python，就要掌握python的基本功，小编建议你可以反复翻阅本文，当然，如果你想获得更多python知识，可以点击下方资料下载链接。