python渲染html页面_python接口自动化29-requests-html支持JavaScript渲染页面

前言

requests虽好,但有个遗憾,它无法加载JavaScript,当访问一个url地址的时候,不能像selenium一样渲染整个html页面出来。

requests-html终于可以支持JavaScript了,这就相当于是一个真正意义上的无界面浏览器了。

中文文档地址:https://cncert.github.io/requests-html-doc-cn/#/

JavaScript支持

当第一次使用render() 渲染页面的时候,会自动下载chromium,但只会下载这一次,后面就不会下载了。

from requests_html import HTMLSession

session = HTMLSession()

r = session.get('https://www.cnblogs.com/yoyoketang/')

r.html.render() # 首次使用,自动下载chromium

1070438-20190406230103583-2140812042.png

render()渲染页面

到底渲染html页面是个什么概念呢?可以请求之后对比抓包看下,不使用render()之前,只发一个请求

1070438-20190406232808003-1361002043.png

使用render()之后,会发很多请求,类型于手工在浏览器上输入url后,浏览器渲染整个完整的页面,这正是我们想要的模拟浏览器发请求

1070438-20190406233023171-1984431279.png

案例

接下来访问我的博客地址后,抓取我的个人信息

from requests_html import HTMLSession

session = HTMLSession()

r = session.get('https://www.cnblogs.com/yoyoketang/', verify=False)

r.html.render() # 首次使用,自动下载chromium

# print(r.html.html)

d = r.html.find("#profile_block", first=True)

print(d.text)

打印结果

昵称:上海-悠悠

园龄:2年4个月

粉丝:1570

关注:73

+加关注

困扰很久的问题终于找到了解决办法,更多强大的功能可以去requests-html的GitHub地址https://github.com/kennethreitz/requests-html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值