在通用的领域,自然语言处理已经进入我们的生活,比如说谷歌有谷歌助手,微软有小娜,它们可以处理一些简单的指令。但是目前为止,还没有看到企业应用领域中广泛应用此项技术。如何将自然语言处理和复杂的企业应用结合起来,畅捷通在此方面做了一些尝试。
我们会从三个方面分享这一问题:
1.把自然语言处理这种技术运用到企业应用领域会面对哪些挑战?
2.畅捷通运用哪些技术来解决这些问题?
3.畅捷通在自然语言处理方面已有成果。
要完成一个任务时,我们要面对的主要挑战是什么呢?首先,这个通用的语音识别的工具,它的语料可能是来自于新闻这样的一些大众场景,所以没有针对商品进行优化。其次,所在环境有些噪音,最后是用户可能会直接用方言来说出商品的名称,所以使用通用的语音识别,对商品的识别率是不高的。举个极端的例子:鲜花椒油,被识别成了新发就咬,不仅仅是汉字不能够对应,就连拼音也没有一个是对的,这是方言的造成的结果。
我们第二个应用的场景是试图解决用自然语言来录入结构化数据。我们看到两张财务记帐凭证,会计希望能够通过对着手机说话,直接生成凭证。但是购买的物品不一样,最后使用的会计科目也不一样,这是我们怎样把自然语言转化成结构化数据碰到的一个比较大的问题。
我们会介绍三个方面的内容,一个是基于RNN的一个深度学习领域语言模型,还有一个是Encoder-Decoder也就是编码器-解码器这样的深度学习框架,还有就是拼音纠错引擎。
1.神经网络
在介绍RNN之前,先简单介绍一下神经网络。神经网络这个概念是在一九四几年被提出,它