语言,作为信息传播过程中的一种重要媒介,是人类进行交流沟通最重要的工具之一,在整个人类发展历史中一直扮演着十分重要的角色。我曾经上过一门学校开设的通识课程《语言与社会》,课上听到老师提过一句话感觉颇为震撼——“语言之外,空无一物”,不管你是否认同这句话,它的确引人深思。语言如此重要,那能不能让计算机来帮助人进行处理?—当然可以。
一:什么是自然语言处理?
我们使用语言进行交流的过程从数学的角度看就是一个编码、解码的过程。我们把想要表达的一个意思,通过某种语言的一句话表达出来,就是用这种语言对头脑中的信息做一次编码,编码的结果就是一串文字,而如果对方也懂这门语言,他就可以用这门语言的解码方法获得说话人想要表达的信息,这就是语言的数学本质。
自然语言处理,也就是使用计算机来进行编码解码的过程。处理流程参考下图:
二:自然语言处理发展历史概要
要说自然语言处理,最早可以追溯到1950年,图灵发表论文“计算机器与智能”,提出现在所谓的"图灵测试"作为判断智能的条件,这通常被认为是自然语