【python爬虫】获取某一个网址下面抓取所有的a 超链接下面的内容

import requests as rq
from bs4 import BeautifulSoup as bs
import re

# rooturl是传的是我需要查询和抓取的一个网址，可以是html js 等
def gethtml(rooturl, encoding="utf-8"):
   #默认解码方式utf-8
   response = rq.get(rooturl)
   response.encoding = encoding
#  .text是返回网页的源代码
   html = response.text
#    print(html)
   return html #返回链接的html内容

# 然后将html 传给gethref()方法
def getherf(html):
    # 使用BeautifulSoup函数解析传入的html
    soup = bs(html, features="lxml")
#  解析后用soup.find_all("a")找所有的a标签
    allnode_of_a = soup.find_all("a")
# 遍历a里面的href
    result = [_.get("href") for _ in allnode_of_a]
# 输出result
    print(result)
    return result

request bs4  都需要进行安装 pip install request   pip install bs4

BeautifulSoup()函数返回的是一个解析过的对象，相当于把你的html文本做了处理；
调用这个解析过的对象的find_all()方法，即返回一个该html中 所有的a节点组成的列表；
再对表中每一个节点调用get()方法，获得该节点下"herf"标签（键）的所有值，也就是我们的要找“http://”打头的超链接了；

在前端html中 a 标签一般是这样体现的

html = gethtml('XXXX')

这里xxx指的是你爬取内容的网址（某个html 或者某个js）等文件都可以

最后爬出来我写的一个超链接了：

我的代码是参考是原博主的，他写的很详细，也解释的很清楚，建议大家看看原博主的文章

参考原文：

Python爬虫-获得某一链接下的所有超链接_pychram 找出页面中的所有链接元素_ywsdxxzj的博客-CSDN博客