自然语言处理入门指北 之 one-hot

自然语言（Natural Language）通常是指一种自然地随文化演化的语言，例如，汉语、英语、日语都是自然语言的例子。与编程语言等为计算机而设的“人造”语言相对，自然语言无法直接被计算机等“理解”，在这个前提下，如何让计算机认识、学习乃至理解自然语言就成了一个重要的研究方向：自然语言处理( Natural Language Processing, NLP) 。

简而言之，自然语言处理旨在人与机器的直接通信，这需要一个复杂的系统做支撑，尤其是该系统必须能够正确的“表示”自然语言。以汉字为例，虽然计算机通过汉字内码扩展规范（GBK字库）可以正常地显示汉字，但对于我们要设计的通信系统而言还远远不够，因为汉字无法直接参与计算，继而无法量化文本，导致计算机无法在“数值”上认识汉字，仅仅将其当作简单的字符，失去了学习、理解汉字的基础。为了更好地发挥计算机的计算功能，用数值表示汉字就成了亟待解决的问题，这也是计算机语言学