python爬虫——爬取喜马拉雅app

主要爬取喜马拉雅悬疑栏目的小说名字，演播者以及简介，先上爬取的数据图。

1. 此次抓取使用fiddler抓包，喜马拉雅的抓包很简单，这里就不多阐述。

通过对比两条的url可以发现只有ts-时间戳和pageId不同，其他的都没变化，因此可以知道，改变pageId就可以实现翻页。另外最上面的url是我去除一些不必要的参数，其没有影响。
2. 分析数据

小说是存储在列表当中的，所以需要先取出这个列表，再遍历获取小说的信息。

# 访问的url
url = 'http://mobile.ximalaya.com/mobile/discovery/v2/category/metadata/albums?categoryId=49&device=android' \
     '&keywordId=232&metadatas=&operator=2&pageId=1&pageSize=20&scale=1&version=6.5.87'
# 请求url获得返回的数据是json格式
resp = requests.get(url, headers=headers).json()
# 获取数据存储的列表
datas = resp.get('list')
# 判断列表是否不为空
if datas:
    for data in datas:
       # 声明一个字典存储数据
       data_dict = {}
       # 获取演播者的名字
       nickname = data.get('nickname')
       # 获取小说的名字
       title = data.get('title')
       # 获取小说简介
       trackTitle = data.get('trackTitle')

       data_dict['nickname'] = nickname
       data_dict['title'] = title
       data_dict['trackTitle'] = trackTitle
       print(data_dict)

3. 然后便是将数据保存，data_list是全局变量，详细请看后面的全代码

# 将数据保存为json文件
    with open('data_json.json', 'w', encoding='utf-8') as f:
        json.dump(data_list, f, ensure_ascii=False, indent=4)
    print('json文件保存成功')

    # 将数据保存为csv文件
    # 表头
    title = data_list[0].keys()
    with open('data_csv.csv', 'w', encoding='utf-8', newline='') as f:
        writer = csv.DictWriter(f, title)
        # 写入表头
        writer.writeheader()
        # 批量写入数据
        writer.writerows(data_list)
    print('csv文件保存成功')

4. 全部代码附上

import requests
import csv
import json


# 构建请求头
headers = {
    'Accept': '*/*',
    'user-agent': 'ting_6.5.87(HRY-AL00T,Android28)',
    'Host': 'mobwsa.ximalaya.com',
    'Connection': 'Keep-Alive',
    'Accept-Encoding': 'gzip'

}


# 声明一个列表存储字典
data_list = []


# 请求url并获取数据函数
def get_index():
    page = 1
    while True:
        # 访问的url
        url = 'http://mobile.ximalaya.com/mobile/discovery/v2/category/metadata/albums?categoryId=49&device=android' \
              '&keywordId=232&metadatas=&operator=2&pageId={}&pageSize=20&scale=1&version=6.5.87'.format(page)
        # 请求url获得返回的数据是json格式
        resp = requests.get(url, headers=headers).json()
        # 获取数据存储的列表
        datas = resp.get('list')
        if datas:
            get_info(datas)
        else:
            break
        page += 1


# 获取想要数据函数
def get_info(datas):

    for data in datas:
        # 声明一个字典存储数据
        data_dict = {}
        # 获取演播者的名字
        nickname = data.get('nickname')
        # 获取小说的名字
        title = data.get('title')
        # 获取小说简介
        trackTitle = data.get('trackTitle')

        data_dict['nickname'] = nickname
        data_dict['title'] = title
        data_dict['trackTitle'] = trackTitle

        data_list.append(data_dict)
        print(data_dict)


# 保存文件函数
def save_file():
    # 将数据保存为json文件
    with open('data_json.json', 'w', encoding='utf-8') as f:
        json.dump(data_list, f, ensure_ascii=False, indent=4)
    print('json文件保存成功')

    # 将数据保存为csv文件
    # 表头
    title = data_list[0].keys()
    with open('data_csv.csv', 'w', encoding='utf-8', newline='') as f:
        writer = csv.DictWriter(f, title)
        # 写入表头
        writer.writeheader()
        # 批量写入数据
        writer.writerows(data_list)
    print('csv文件保存成功')


def main():
    get_index()
    save_file()


if __name__ == '__main__':
    main()