文章目录
1. 踩坑记
(补坑再遇坑,希望知道怎么让词云有形状的朋友们,大佬们可以指点指点当然,还有评分分析的时候,一直在运行,但是好久没有结果,懵了。)
1.1.字体乱码
1.命令下载中文字体文件,然后移动到 ".fonts/"文件夹中,正常来说,字体文件存在对于的文件夹中,应该生效才对。不过程序运行出来的柱状图的文字仍然是乱码。
2.本地上传中文字体文件,然后移动到 ".fonts/"文件夹中,仍然解决不了。
3.程序报错说:‘Font-family’ not found. 。于是我去修改字体的配置文件,并且重启环境,仍然不能解决。
最后,我是把整个环境重置为最初的版本,终于,在这里可以正常下载字体文件,不再是403forbidden了。之后,在动字体文件的时候,手动输入的字体文件名,如果该字体文件名有提示,则表示命令可以找到这个文件,所以经过这个过程,同时重启环境之后。终于正常显示中文字体了。
今天先写着最为深刻的一个坑,后续再补代码和坑。
(补坑再遇坑,希望知道怎么让词云有形状的朋友们,大佬们可以指点指点。)
403FORBIDDEN
# 下载中文字体
!wget https://mydueros.cdn.bcebos.com/font/simhei.ttf
--2020-05-03 22:14:32-- https://mydueros.cdn.bcebos.com/font/simhei.ttf
Resolving mydueros.cdn.bcebos.com (mydueros.cdn.bcebos.com)... 182.61.200.229, 182.61.200.195
Connecting to mydueros.cdn.bcebos.com (mydueros.cdn.bcebos.com)|182.61.200.229|:443... connected.
HTTP request sent, awaiting response... 403 Forbidden
2020-05-03 22:14:32 ERROR 403: Forbidden.
参考网络上的一般解决方法是:
!wget -O 'test.zip' URL
!wget -U "你的User-Agent" URL
但是这些方法在paddle提供的环境好像不起作用。
解决方法1:本地上传字体文件
SimHei.ttf中文字体下载【点击这里】01
SimHei.ttf中文字体下载【点击这里】02
下载完成之后,在paddle环境中点击上传文件,选择simhei.ttf文件上传,然后复制文件到 .fonts文件夹中,重启服务,中文字体就可以正常显示了。
# 创建字体目录fonts
!mkdir .fonts
# 复制字体文件到该路径
!cp simhei.ttf .fonts/
"""另外一种移动字体文件方法"""
# 将字体文件复制到matplotlib字体路径
!cp simhei.ttf /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/ttf/
移动字体文件后可能在系统中仍然找不到可用的中文字体:
解决方法2:重新新建一个项目
这个时候wget是可以正常下载字体文件的,response code = 200 OK;
然后就可以正常执行,创建字体文件夹,复制字体文件到文件夹中。如果此时还是不能正常显示中文,则需要停止项目,然后再启动,就可以解决了。
1.2.词云问题
2. 综合大作业:《青春有你2》选手数据分析以及评论分析
2.1.实现步骤
第一步:爱奇艺《青春有你2》评论数据爬取(参考链接:https://www.iqiyi.com/v_19ryfkiv8w.html#curid=15068699100_9f9bab7e0d1e30c494622af777f4ba39)
- 爬取任意一期正片视频下评论
- 评论条数不少于1000条
第二步:词频统计并可视化展示
- 数据预处理:清理清洗评论中特殊字符(如:@#¥%、emoji表情符),清洗后结果存储为txt文档
- 中文分词:添加新增词(如:青你、奥利给、冲鸭),去除停用词(如:哦、因此、不然、也好、但是)
- 统计top10高频词
- 可视化展示高频词
第三步:绘制词云
- 根据词频生成词云
- 可选项-添加背景图片,根据背景图片轮廓生成词云
第四步:结合PaddleHub,对评论进行内容审核
2.2.需要的配置和准备
- 中文分词需要jieba
- 词云绘制需要wordcloud
- 可视化展示中需要的中文字体
- 网上公开资源中找一个中文停用词表
- 根据分词结果自己制作新增词表
- 准备一张词云背景图(附加项,不做要求,可用hub抠图实现)
- paddlehub配置
安装“jieba”+“worldcloud”库
# Linux系统默认字体文件路径
!ls /usr/share/fonts/
# 查看系统可用的ttf格式中文字体
!fc-list :lang=zh | grep ".ttf"
[OUT]: cmap truetype type1 X11
/home/aistudio/.fonts/simhei.ttf.1: SimHei,黑体:style=Regular,Normal,obyčejné,Standard,Κα