程序设计十一：多线程获取歌单

#水木刀

已于 2023-01-31 18:46:10 修改

阅读量104

点赞数

分类专栏：程序设计文章标签： python 开发语言

于 2022-12-02 23:21:15 首次发布

本文链接：https://blog.csdn.net/m0_61638092/article/details/128156183

版权

程序设计专栏收录该内容

6 篇文章 0 订阅

订阅专栏

程序设计十一：多线程获取歌单

一、获取歌单ID

使用生产-消费模型，函数producer获取歌单的id，调用requests模块获取分类的页面，使用Beautifulsoup模块提取出歌单id并传入列表

def producer():
    url_main = 'https://music...'
    for i in range(0, 1295, 35):
        url = url_main + str(i)
        response = requests.get(url=url)
        html = response.text
        soup = BeautifulSoup(html, 'html.parser')
        # 获取包含歌单详情页网址的标签
        ids = soup.select('.dec a')
        # 获取id
        for j in range(len(ids)):
            id = ids[j]['href']
            q.append(id[13:])

二、获取歌单的详细信息

函数consumer根据生产者传入的id，组合字符串，并调用requests模块获取歌单页面，使用Beautifulsoup模块提取出相关信息。

但该线程运行时，列表还为空时，令该线程sleep0.5秒，等列表中有数据之后再获取处理，代码如下：

def consumer():
    print('consumer thread start...')
    # 获取封面图片、歌单标题、创建者id、创建者昵称、介绍、歌曲数量、播放量、添加到播放列表次数、分享次数、评论数
    while len(q) == 0:
        time.sleep(0.5)
    id = q.pop()
    url = 'https://music...' + id
    print(url)
    response = requests.get(url)
    html = response.text
    soup = BeautifulSoup(html, 'html.parser')
    # 歌单页面
    playlist = soup.select('#m-playlist')[0]
    # 封面图片、歌单标题、创建者id、创建者昵称、介绍、歌曲数量、播放量、添加到播放列表次数、分享次数、评论数
    img_url = playlist.select('.j-img')[0]['data-src']
    title = playlist.h2.text
    user_id = playlist.select('.name a')[0]['href'][11:]
    user_name = playlist.select('.name a')[0].text
    intro = playlist.select('#album-desc-more')[0].text
    number = playlist.select('#playlist-track-count')[0].text
    play_count = playlist.select('#play-count')[0].text
    collect = playlist.select('.u-btni.u-btni-fav')[0].text
    share = playlist.select('.u-btni.u-btni-share')[0].text
    comment = playlist.select('.u-btni.u-btni-cmmt')[0].text
    img = requests.get(url=img_url)
    # 存储歌单封面图片
    if os.path.exists('images') == False:
        os.mkdir('images')
    f = open('images/playlist_' + id + ".jpg", "wb")
    f.write(img.content)
    f.close()
    # 存储歌单信息
    row = [title, user_id, user_name, intro, number, play_count[1:-1], collect[1:-1], share[1:-1], comment[1:-1]]
    if os.path.exists('song_info.csv') == False:
        with open('song_info.csv', 'w', encoding='utf-8') as f:
            writer = csv.writer(f)
            writer.writerow(
                ['歌单标题', '创建者id', '创建者昵称', '介绍', '歌曲数量', '播放量', '添加到播放列表次数',
                    '分享次数', '评论数'])
    with open('song_info.csv', 'a', encoding='utf-8') as f:
        writer = csv.writer(f)
        writer.writerow(row)

三、多线程构建

构建一个生产者线程，37个消费者线程，每当生产者从分类页面获取一个id，就传入列表；消费者线程从列表中取出并获取相关页面的信息，代码如下：

if __name__ == '__main__':
    c_list = []
    p = Thread(target=producer)
    for i in range(37):
        c = Thread(target=consumer)
        c_list.append(c)
    p.start()
    for c in c_list:
        c.start()
    for c in c_list:
        c.join()

    print('main end')