安装 requests-html
本文主要参考requests-html官方文档,详细资料可见参考文献
pipenv install requests-html
#need python 3.6 above
爬取相关网站
可以将下面的网站,替换成人名比较多的网站,比如xx大全等,这里就不细说,可自行百度
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://python.org/')
可以先打印出来absolute_links,然后访问这个页面下的链接,打印页面文件,然后在进行相关的后处理
r.html.absolute_links
print(r.html.text)
参靠文献:
1、http://html.python-requests.org/