python渲染html页面_python接口自动化（二十七） requests-html支持JavaScript渲染页面...

前言

requests虽好，但有个遗憾，它无法加载JavaScript，当访问一个url地址的时候，不能像selenium一样渲染整个html页面出来。

requests-html终于可以支持JavaScript了，这就相当于是一个真正意义上的无界面浏览器了。

JavaScript支持

当第一次使用render()渲染页面的时候，会自动下载chromium，但只会下载这一次，后面就不会下载了。

from requests_html import HTMLSession

session=HTMLSession()

r=session.get('https://www.cnblogs.com/canglongdao/')

r.html.render() #首次使用，自动下载chromium

render()渲染页面

到底渲染html页面是个什么概念呢？可以请求之后对比抓包看下，不使用render()之前，只发一个请求

使用render()之后，会发很多请求，类似于手工在浏览器上输入url后，浏览器渲染整个完整的页面，这正是我们想要的模拟浏览器发请求

案例

接下来访问我的博客园地址后，抓取我的个人信息

# coding:utf-8

from requests_html import HTMLSession

import urllib3

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

session=HTMLSession()

r=session.get('https://www.cnblogs.com/canglongdao/',verify=False)

r.html.render() #首次使用，自动下载chromium

rs=r.html.find("#profile_block",first=True)

print(rs.text)

运行结果