python3 更牛逼的解析库 requets_html 详细用法示例

前言：

requests库的好，只有用过的人才知道，最近这个库的作者又出了一个好用的爬虫框架requests-html。之前解析html页面用过了lxml和bs4,
requests-html集成了一些常用爬虫库的优点，依然是为人类服务：HTML Parsing for Humans。
目前只支持python3.6

环境准备

安装步骤一如既往的简单：pip install requests-html

 

下面放上requests-html的官方中文知道文档，看着文档即可入门

地址：https://cncert.github.io/requests-html-doc-cn/#/

该库旨在使解析HTML（例如，抓取Web）尽可能简单直观, 其优势在文档开头就写了：

 

• 全面支持解析JavaScript!
• CSS 选择器 (jQuery风格, 感谢PyQuery).
• XPath 选择器, for the faint at heart.
• 自定义user-agent (就像一个真正的web浏览器).
• 自动追踪重定向.
• 连接池与cookie持久化.
• 令人欣喜的请求体验，魔法般的解析页面.

 1. 例子：抓页面url地址

先发个get请求，返回response对象，通过r.html.links获取页面的全部链接，包含一些相对路径的地址，如果只想获取绝对路径的地址，可以用r.html.absolute_links

# coding:utf-8
from requests_html import HTMLSession  # 先倒入

# 先对HTMLSession类进行实例化
s = HTMLSession()

r = s.get('https://python.org/')
# 获取页面所有链接(相对路径)
links = r.html.links
print(links)

# 获取所有完整路径
absolute_links = r.html.absolute_links
print(absolute_links)

运行结果, 返回内容太多，省略了一部分：

{'http://pycon.blogspot.com/', 'https://www.python.org/dev/', 'https://wiki.qt.io/PySide', 'https://www.python.org/events/python-events/817/'}

从返回的结果可以看出，返回的是set集合，会自动的去除重复的链接地址

 2.该库支持xpath定位

示例如下：

r = s.get('https://www.cnblogs.com/yoyoketang/tag/django/', verify=False)
# 通过xpath获取所有
all = r.html.xpath('//*[@id="myposts"]/div/div/a', first=True) # xpath方法返回是一个list，加上 first=True参数返回第一个结果
print(all) # 打印出所有符合条件的element对象

for i in all:
    print(i.text)  # 获取该元素文本
    print(i.absolute_links) # 获取完整路径
    print(i.html)  # 获取html内容
    print(i.attrs) # 获取全部属性

 3.这些只是一些基本的功能，requests-html还可以支持JavaScript渲染页面

  requests库虽好，但有个遗憾，它无法加载JavaScript，当访问一个url地址的时候，不能像selenium一样渲染整个html页面出来。
  requests-html终于可以支持JavaScript了，这就相当于是一个真正意义上的无界面浏览器了。

当第一次使用render() 渲染页面的时候，会自动下载chromium，但只会下载这一次，后面就不会下载了。

r2 = s.get('https://www.cnblogs.com/yoyoketang/', verify=False)
r2.html.render() # js渲染页面 使用render()之后，会发很多请求，类似于手工在浏览器上输入url，浏览器渲染整个完整的页面，这正是我们想要的模拟浏览器发请求
#print(r2.html.html) # 不使用render只会请求一个主页接口，不会请求其他子请求

 

这里的render()就是渲染页面

到底渲染html页面是个什么概念呢？可以请求之后对比抓包看下，不使用render()之前，只发一个主请求：

但是用了render之后的请求是这样的：

4.接下来访问博客地址后，抓博主个人信息

 

结束语：

好了到此告一段落了，具体的需要用到的时候可以参阅官方文档，文档写的比较细，作为入门基本上是够了！有机会用到再写续编！