python3爬虫，BeautifulSoup，页面json数据获取

最新推荐文章于 2023-12-28 15:46:47 发布

倚栏丶听雨

最新推荐文章于 2023-12-28 15:46:47 发布

阅读量4.9k

点赞数 2

分类专栏：爬虫

本文链接：https://blog.csdn.net/qq_34939371/article/details/107398401

版权

爬虫专栏收录该内容

2 篇文章 0 订阅

订阅专栏

安装BeautifulSoup

pip3 install BeautifulSoup4

BeautifulSoup解析数据的用法

bs对象 = BeautifulSoup(要解析的文本, '解析器')

#在括号中，要输入两个参数，第0个参数是要被解析的文本，注意了，它必须必须必须是字符串。

#括号中的第1个参数用来标识解析器，我们要用的是一个Python内置库：html.parser。（它不是唯一的解析器，但是比较简单的）

例如：

import requests
# 引入BS库，下面的bs4就是beautifulsoup4
from bs4 import BeautifulSoup
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/spder-men0.0.html')
# 把网页解析为BeautifulSoup对象
soup = BeautifulSoup(res.text,'html.parser')

BeautifulSoup 分为两部分知识：find()与find_all()，以及Tag对象

find()与find_all()是BeautifulSoup对象的两个方法，它们可以匹配html的标签和属性，把BeautifulSoup对象里符合要求的数据都提取出来。区别在于，find()只提取首个满足要求的数据，而find_all()提取出的是所有满足要求的数据。

Tag类对象的常用属性和方法

例如：

# 把网页解析为BeautifulSoup对象
list_foods = soup.find_all('div',class_='quote post')
# print(list_foods)

for item in list_foods:
    print(item.find('span').text)
    print(item.find(class_='author').text)
    print(item.find('a')['href'])

页面json数据获取

import requests
# 引用requests库
res_music = requests.get('https://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remoteplace=txt.yqq.song&searchid=60997426243444153&t=0&aggr=1&cr=1&catZhida=1&lossless=0&flag_qc=0&p=1&n=20&w=%E5%91%A8%E6%9D%B0%E4%BC%A6&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8&notice=0&platform=yqq.json&needNewCode=0')
# 调用get方法，下载这个字典
json_music = res_music.json()
# 使用json()方法，将response对象，转为列表/字典
list_music = json_music['data']['song']['list']
# 一层一层地取字典，获取歌单列表
for music in list_music:
# list_music是一个列表，music是它里面的元素
    print(music['name'])
    # 以name为键，查找歌曲名
    print('所属专辑：'+music['album']['name'])
    # 查找专辑名
    print('播放时长：'+str(music['interval'])+'秒')
    # 查找播放时长
    print('播放链接：https://y.qq.com/n/yqq/song/'+music['mid']+'.html\n\n')
    # 查找播放链接