Python爬虫学习记录(2)——LDA处理歌词

使用Python的jieba分词工具对27k首歌词进行处理,通过LDA模型发现各类歌曲的常用词汇,如中文歌涉及'爱我', '寂寞', '快乐', '爱情', 英文歌涉及'love', 'don', 'time', 'life'等。儿歌和红歌有特定的词汇特征,如'妈妈', '长大', '中国', '英雄'等。通过对歌词的词频分析揭示了不同音乐风格的词义倾向。" 103020762,9152682,解决QT编译错误c1083:无法找到windows.h文件,"['QT开发', '编译错误', 'Markdown', '代码编辑', '软件开发']
摘要由CSDN通过智能技术生成

百度空间关闭了, 本系列文章从 hi.baidu.com/cwyalpha 转移过来

想看看某类歌词里哪些词用的比较多。

1. 歌词及类别从这里来 http://music.baidu.com/tag 带歌词的歌大约有27k

2. 分词用的是jieba in Python

3. 去除停用词,去除单个汉字。切记,一定要去除“爱”字。“爱”比“的”还可怕,不去除的话每个topic都充斥着“爱”

4. 把每首歌当作一个doc,对每个doc生成P(topic|doc)的向量后,把他们的值用色块标注了下,由白→黄→红值逐渐增大。每个topic代表词按概率由大到小从上到下排列。如下图(点开大图)。相应的excel下载( http://pan.baidu.com/sha

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值