Python爬虫网易云歌词及词频统计--（周杰伦top50）

本篇博客是利用Python爬虫网易云音乐，并利用jieba分词，对歌词进行分词，然后分析周杰伦top50中最常出现的词语。

我们先尝试获取一首歌的歌词吧，比如等你下课这首歌

上面的id就是等你下课这首歌的id，但是这种不适合批量提取，所以最好从网页的html中提取歌曲的id，这才是正确方法

一丶根据歌id提取一首歌的歌词

import requests
import json
import re

#根据歌词id提取歌词
lrc_url = 'http://music.163.com/api/song/lyric?' + 'id=' + str(531051217) + '&lv=1&kv=1&tv=-1'
lyric = requests.get(lrc_url)
json_obj = lyric.text
j = json.loads(json_obj)
lrc = j['lrc']['lyric']
pat = re.compile(r'\[.*\]')
lrc = re.sub(pat, "", lrc)
lrc = lrc.strip()
print(lrc)

如果想保存成文本，加入下面代码

f=open("D:/等你下课.txt"，'w')
for each in lrc:
    f.write(each)

二丶提取歌手一系列歌曲id

import requests

from bs4 import BeautifulSoup
singer_url = 'http://music.163.com/artist?id=' + str(6452)  # 获取歌手链接，根据歌手的id获取数据
web_data = requests.get(singer_url)
soup = BeautifulSoup(web_data.text, 'lxml')
singer_name = soup.select("#artist-name")#获取歌手名字
r = soup.find('ul', {'class': 'f-hide'}).find_all('a')
r = (list(r))
music_id_set = []#此歌手音乐的id列表
music_name_set=[]#此歌手音乐的名字列表
for each in r:
    song_name = each.text  # 歌曲名字    music_name_set.append(song_name)
    song_id = each.attrs["href"]
    music_id_set.append(song_id[9:])#歌曲id，从第九个字符开始取id，上面图片展示过
print(music_id_set)
dic = dict(map(lambda x, y: [x, y],  music_id_set,music_name_set))  # 将音乐名字和音乐id组成一个字典
print(dic)

三丶根据歌曲id批量提取歌词

根据上面的id批量获取歌词，把上面的根据id获取单曲歌词的代码写成函数形式

    def get_lyric_by_music_id(music_id):  # 定义一个函数，通过音乐的id得到歌词
        lrc_url = 'http://music.163.com/api/song/lyric?' + 'id=' + str(music_id) + '&lv=1&kv=1&tv=-1'

        lyric = requests.get(lrc_url)
        json_obj = lyric.text
        # print(json_obj)
        j = json.loads(json_obj)
        # print(type(j))#打印出来j的类型是字典
        try:  # 部分歌曲没有歌词，这里引入一个异常
            lrc = j['lrc']['lyric']
            pat = re.compile(r'\[.*\]')
            lrc = re.sub(pat, "", lrc)
            lrc = lrc.strip()
            return lrc
        except KeyError as e:
            pass

    for i in music_id_set:           
        f=open("D:/untitled/"+dic[i]+".txt",'w')
        lyric = get_lyric_by_music_id(i)#获取某一首歌的歌词
        if lyric==None:#有的歌没有歌词 醉了哈
            print("No lyric")
            continue
        else:
            print(dic[i])  # 单个文件存储一个歌手某一首歌以歌名命名
            try:
                for index in lyric:
                    f.write(index)

            except UnicodeEncodeError as u:
                continue
        f.close()

四丶利用jieba分词进行词频统计

我们把上面的代码改一下，让50首歌曲歌词全部放到一个文件夹下，为下面分词做准备

import jieba
#读词
    file=open("D:/untitled/周杰伦歌词.txt",'r')
    lyric_str=file.read()
    seg=jieba.cut(lyric_str)#jieba分词
    word_list=[]
    word_dict={}
    for each in seg:
        #print(each+' ')
        if len(each)>1:#过滤长度为1的词
            word_list.append(each)#加入到词语列表中

    for index in word_list:#遍历词语列表
        if index in word_dict:
            word_dict[index]+=1#根据字典键访问键值，如果该键在字典中，则其值+1
        else:
            word_dict[index]=1#如果键不在字典中，则设置其键值为1

    sorted(word_dict.items(),key=lambda e:e[1],reverse=False)

    fc=open("D:/untitled/fenci.txt",'w')
    for item in word_dict.items():
        print(item)
        fc.write(item[0]+str(item[1])+'\n')#将分词词频输出到txt文本中

    #将分词和词频输出到excel中
    file=Workbook()
    table=file.add_sheet('data')

    ldata = []
    num = [a for a in word_dict]
    num.sort()

    for item in num:#频次
            ldata.append(str(word_dict[item]))#次数

    for i in range(1000):
            table.write(i,0,num[i])
            table.write(i,1,ldata[i])
    file.save("D:/untitled/fenci.xls")

参考博客：
https://www.cnblogs.com/Beyond-Ricky/p/6757954.html