自然语言处理与机械设计及其自动化

自然语言处理与机械设计及其自动化

• 自然语言处理又称为自然语言理解,就是利用计算机为工具对人类特有的书面形式和又头形式的自然语言的信息进行各种类型处理和加工的技术——冯志伟。那么当我们进行任何一项研究的时候,总会关心两类问题:一是是什么,为什么;二是做什么,怎么做。这是科学与技术紧密相关的两个方面。那我们又如何将自然语言与机械专业相结合起来呢。
• 其实，自然语言处理既是一门技术也是一门学科。而自然语言指的人类使用的语言,如汉语、英语等等 。语言既是思维的载体也,是人类交流的工具，而语言又有两种属性:文字和声音。所以，对于和机械打交道的我们，就是要将机器能使用我们的语言，并用以交流，而这个交流就不仅限于机器和人之间，当然还有机器和机器，以及人和人之间，不过要用机器来交流。这方面用好了，就真正成为了一个我们机械从业者的技术了。
• 而对于一门学科来说，自然语言的东西就很进行多了。它包括语音学问题:研究词及其语音的关联。形态学问题:研究词是如何由有意义的基本单位-词素构词的。语法学问题:研究句子结构成分之间的相互关系和组成句子的序列。语义学问题：研究如何从一个语句中词的意义,以及这些词在该语句中句法结构中的作用来推导出该语句的意义。语用学问题:研究在不同上下文中的语句的应用,以及上下文对语句理解所产生的影响。从狭义的语言学观点看,语用学处理的是语言结构中有形式体现的那些语境。相反,语用学最宽泛的定义是研究语义学未能涵盖的那些意义。而我们就要根据这些来 进行机器翻译了。
• 基于规则的机器翻译方法认为翻译的过程是需要对源语言的分析和源语言意义的表示,然后再生成等价的标语言的过程。根据翻译过程的不同,规则方法可分为两种主要方法: 基于转换的方法的翻译过程包括三个阶段:分析得到一种源语言的抽象表示;把源语言的抽象表示转换为目标语言的抽象表示;由目标语言的抽象表示生成目标语言。基于中间语言的方法在对源语言分析后产生的是中间语言,而目标语言的生成是直接由这种中间语言开始的。基于实例的机器翻译的本质是“以翻译实例为基础,基于相似原理的机器翻译”,其利 用的主要知识源是预处理过的双语语料和翻译词典。基于实例的翻译过程通常包括三步: 在翻译实例库中搜索匹配片段;确定相应的译文片段;重新组合译文片段以得到最终翻译。统计机器翻译也是基于双语语料库的,但与基于实例的方法在翻译过程中直接使用翻译 实例不同,统计方法通过事先的训练过程将双语语料库中隐含的翻译知识抽象成统计模型, 而翻译过程通常就是基于这些统计模型的解码过程。最后，神经机器翻译。神经机器翻译与传统的统计机器翻译不同,神经机器翻译的目的是建立一个单一的神经网络,可以联合调整,以最大限度地提高翻译性能。最近提出的用于神经机器翻译的模型通常属于编码器 - 解码器族,且将源语句编码成固定长度向量,解码器从该向量生成翻译。
• 当然我们所需要的不仅仅有机械翻译，还有信息检索，也称为情报检索,就是利用计算机从大量文档中找到符合用户需要的相关信息。自动文摘，传统的摘要生成系统大部分都是抽取型的, 这类方法从给定的文章中, 抽取关键的句子或者短语, 并重新拼接成一小段摘要, 而不对原本的内容做创造性的修改. 深度学习是一个生成方法,它会创造性的生成摘要。文档分类:其目的就是利用计算机系统对大量的文档按照一定的分类标准实现自动归类。文档分类的方法有基于机器学和基于深度学习的方法。问答系统:通过计算机对人提出的问题的理解,利用自动推理等手段,在有关知识资源中自动求解答案并作出相应的回答。问答技术有时与语音技术、人机交互技术等相结合,构成人机对话系统。文字识别:通过计算机系统对印刷体或手写体等文字进行自动识别,将其转换为计算机可以出来的电子文本。语音识别:将输入计算机的语音信号转换成书面语表示。语音生成:利用计算机将书面语转换为语音信号。
• 于是自然而然的就产生了许多问题，例如语音歧义和语义未知。这对于我们一般人来说有时都会难以理解，更何况我们自己创造的自然语言与现实的结合。但是，它的发展趋势仍然很好。目前,我们主要通过两种思路来进行自然语言处理,一种是基于规则的理性主义,另外一种是基于统计的经验主义。导致的结果是,统计学习方法越来越受到重视,自然语言处理中更多地使用机器自动学习的方法来获取语言知识。而这也是我们机械的处理中大部分要用到的，所以深度学习在自然语言处理中的应用极大的促进了机械行业的发展。