新的爬虫工具包requests-html 使爬虫更简单!!

12 篇文章 0 订阅
10 篇文章 0 订阅

requests-html 包的安装:

pip install requests-html

requests-html pip 安装时多出来的包(appdirs=1.4.3,cssselect=1.03,fake-useragent=0.1.11,parse=1.9.0,pyee=5.0.0,pyppeteer=0.0.25

,pyquery=1.4.0,requests_html=0.9.0,tqdm=4.28.1,w3lib=1.19.0,websockets=7.0)

requests-html 官方文档位置https://cncert.github.io/requests-html-doc-cn/#/?id=%e5%ae%89%e8%a3%85

requests-html 官方api 调用 https://html.python-requests.org/

requests-html包的使用:

from requests_html import HTMLSession

session = HTMLSession()
# 其中get请求中的参数和requests库中的get是一样的可以随意添加
r = session.get('http://www.runoob.com/python/python-func-iter.html')
# 查看页面内容
print(r.html.html)
# 返回页面的所有链接 返回一个列表
print(r.html.links)
# 返回页面所有的链接 自动转换成绝对路径
print(r.html.absolute_links)
# 寻找定位 只寻找一个 默认是fitst=False
xx = r.html.find('#id',first=True)
print(xx.text) # 提取文本
print(xx.attrs) # 提取参数 {'id':'id','class':'zzz'}
print(xx.html) # html <li id="about" class="zzz">123<img rec='></li>
print(xx.find('img')) # 获取指定子元素
print(xx.absolute_links) # 获取其中的绝对元素
# 在获取的页面中查找文本
print(xx.html.search('Python is a {} language')[0])

# css选择器示例
sel = 'body > div.application-main > div.jumbotron.jumbotron-codelines > div > div > div.col-md-7.text-center.text-md-left > p'
print(xx.html.find(sel, first=True).text)

# XPath
print(xx.html.xpath('a'))

支持js 动态加载

r = session.get('http://python-requests.org/')
# 进行通过浏览进行js加载 第一次运行时它会后台 下载一个 Chrimium 浏览器 进行js加载用
r.html.render()

 

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值