[爬虫]网抑云音乐评论

[爬虫]网抑云音乐评论

前言

自打开网抑云之后，我久久无法忘记，是它才能带给我内心世界的波涛汹涌。我左手拿起它，右手放下它，一日复一日，我终于完成了《The Spider Of Music-163》这个还勉强让我满意的作品

PS.我也没想到，我这么懒还会去扩展[实战]爬取网抑云音乐评论，（摊牌了，其实我把它当作犁牛克斯这门课的大作业）

所需环境

开发工具

• HBuilder X
• Pycharm 2019.3

前端所用框架及插件

• Layui
• Swiper
• jQuery

Python使用的相关库：

• 内置库
• flask
• flask_cors
• aip
• pymysql
• pycryptodome
• bs4
• numpy
• pillow
• jieba
• wordcloud

项目结构

前端结构

index.html为网站主页，

layui、jquery.min.js和swiper是前端所需的模块，去对应官网下载后，放着就行，

css和js为页面所需的样式与脚本代码，

img存放图片，m_song存放不同功能的子页面

.
├── css
│   ├── comments.css
│   └── index.css
│
├── js
│   ├── index.js
│   └── jquery.min.js
│
├── layui
├── swiper
├── img
│
├── m_song
│   ├── comments.html
│   ├── comments_res.html
│   ├── search_res.html
│   └── wordcloud.html
│
└── index.html

后端结构

• app.py为启动flask的核心，也写着对应网站路径的路由

• utils存放工具类

• comments.txt存储爬取歌曲后的评论，供词云使用

• MySong.py为爬虫核心

• MyWorldcloud.py生成词云，teemos.jpg和zifu.ttf为生成词云所需的背景图和微软雅黑字体，wordcloud.png为生成后的词云图

.
├── app.py
└── utils
    ├── comments.txt
    ├── MySong.py
    ├── MyWordcloud.py
    ├── teemos.jpg
    ├── wordcloud.png
    └── zifu.ttf

项目原理

本项目是基于[实战]爬取网抑云音乐评论的可视化扩展，爬虫原理部分就不赘述了，详见[实战]爬取网抑云音乐评论

本项目采用前后端分离的架构，前后端可以分别独立开发，我前端开发使用HBuilder X，后端开发使用Pycharm，这样也方便后期的维护

由于我比较懒，且项目也比较简单，流程图我就不画了，我简单的口述一下

index.html主页里有三个模块

• 搜索歌曲
• 歌曲搜索结果列表。由一个iframe即search_res.html组成
• 词云与热评。由一个iframe即comments.html组成，而comments.html页面包括wordcloud.html和comments_res.html

这三个模块通过swiper来控制出场顺序，点击相应按钮后才会切换到下一个模块

点击按钮

点击搜索按钮：

• index.html向服务器发起ajax请求，请求的数据为搜索的歌曲名
• 服务器根据接收到的数据进行爬虫，并返回歌曲列表json给search_res.html
• index.html使用swiper将页面切换到第二个模块
• search_res.html根据得到的json可视化展示歌曲列表信息

点击查看评论按钮：

• search_res.html页面向后端发起ajax请求，请求的数据为查看评论的歌曲ID
• 服务器根据接收到的数据进行爬虫，保存txt评论信息
• index.html使用swiper将页面切换到第三个模块
• wordcloud.html向服务器发起ajax请求，服务器根据txt制作词云后，返回词云图片
• comments_res.html向服务器发起ajax请求，根据得到的json可视化展示精彩评论

总结

个人感觉本项目似乎也没啥技术含量，非要说技术含量就是爬取评论和歌曲名的解密过程。。。并且有的代码写的挺乱的，也不规范，凑合着用吧，懒得改了，有啥建议都可以提哈

项目结果图

主页类似百度搜索的界面，输入歌名就行歌曲的搜索

图1 主页

第二个页面，类似在各大音乐平台搜索歌曲的结果

图2 搜索结果

第三个页面，展示所查看歌曲的词云图以及热门评论

图3 词云和评论

项目部署

本项目使用前后端分离的架构，因此前端后端需要分别部署

本文以Centos7为例，使用之前需要将前端这三个文件里的出现的IP地址192.168.160.137替换为你自己服务器的IP地址

• comments_res.html

• wordcloud.html

• index.js

前端部署

前端部署在apache中，启动后，将前端的程序放入/var/www/html中，使用IP地址访问即可

# 安装apache
yum -y install httpd
# 启动Apache
systemctl start httpd
# 设置httpd服务开机启动
systemctl enable httpd

后端部署

后端所需python3环境，由于系统自带的是python2，因此需要安装python3，安装完python3后，输入python3和pip3就可以使用python3了

# 安装依赖包
yum -y groupinstall "Development tools"
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

# 去官网下载相关版本的python
wget https://www.python.org/ftp/python/3.8.0/Python-3.8.0.tar.xz

# 解压压缩包并安装
tar -xvJf  Python-3.6.2.tar.xz
cd Python-3.6.2
./configure --prefix=/usr/local/python3
make && make install

# 创建软连接
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

安装本项目所需的python库

pip3 install flask
pip3 install flask_cors
pip3 install aip
pip3 install pymysql
pip3 install pycryptodome
pip3 install bs4
pip3 install numpy
pip3 install pillow
pip3 install jieba
pip3 install wordcloud

觉得速度慢的话可以换清华源，可以使用-i参数指定清华镜像

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple XXXXXX

可以永久设置镜像源

pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

进入后端文件夹内，输入指令启动运行后端

python3 app.py

如果需要外网访问或虚拟机外访问，则需要关闭Centos7自带的防火墙

# 停止firewall
systemctl stop firewalld.service
# 禁止firewall开机启动
systemctl disable firewalld.service 

至此，项目部署完毕

Github链接：https://github.com/teemos666/The-Spider-Of-Music-163

参考文献

[1] 提莫莫 《[实战]爬取网抑云音乐评论》 (https://blog.csdn.net/weixin_45766049/article/details/120504972)

[2] Java后端何哥 《Python文本挖掘：词云图》 (https://blog.csdn.net/CSDN2497242041/article/details/77175112)

[3] 各种百度

[4] 各种B乎

[5] 各种CSDN