几秒快速了解音频或文本包含的关键信息

有没有遇到如下场景：面对一大段录音，视频或者文本，想要快速的获取关键信息，但是想要提炼出关键信息，我们不得不从头到尾的过一遍，那么如何快速的了解关键信息呢？

这个场景的实现主要有以下几个方面的工作：

1、音频转写为文本—-需要一个转写能力较高的模型

2、数据预处理—对数据初步进行规范化处理，便于后续分析

3、文本的分词—对文本进行正确的分词（基于实际场景需要添加专业词汇）

4、对每一个词进行权重分析—用tfidf方法实现

5、可视化展示—-用词云工具来展示

音频转写文本：

能够提供音频转写能力的有讯飞，百度，亚马逊aws，微软等，这里不再过多叙述

数据预处理：

这个部分根据实际场景，我们先去掉停用词，标点等非关键因素

文本的分词：

对文本的分词，我们采用jieba分词，jieba分词库是一个便于使用，效果较好的一个分词库。它的分词模式主要有三种：

1）精确模式，试图将句子最精确地切开，适合文本分析；

2）全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；

3）搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

且支持繁体分词以及自定义词库

对每一个词进行权重分析：

TFIDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。实际场景中，存在大量的关键的词汇，这些词汇往往代表着关键信息，所以我们采用TFIDF来把抓取这些关键信息，再通过词云表示出来。

可视化展示：

这里主要介绍一个可视化工具—词云，这个工具可以把我们所有信息展示出来，并且越是重要的信息，字体会越大，有利于我们catch关键因素

在这里我们用西游记女儿国白话文文本来展示，通过词云可以快速的了解到剧情，师徒四人路过女儿国，三藏师傅被女儿国女王看中，差点就要成婚了。