语义信息概述

什么叫语义信息？

无论在图像，文本，语音处理领域等，我们常看到一个词，“语义信息”。
维基百科中的解释： 语义信息（英语：semantic information）在传媒行业指语言文字提供的信息，在计算机行业指有意义的数据提供的信息，在科学哲学领域泛指任何一种有意义的语言、文字、符号、数据、公式、理论等提供的信息。语义信息的概念主要是用以区别Shannon信息的。
百度百科解释：语义信息是信息的表现形式之一，指能够消除事物不确定性的有一定意义的信息。对信息接受者来说，信息可表现为语法信息、语义信息和语用信息三个层次。语义信息可以借助自然语言去领会和解释。只有人类社会的信息才包含语义信息。凡科学信息都属于语义信息。由于个人在知识水平和认识能力方面有差异，因此，对语义信息的理解往往带有较强的主观色彩。不同的人从同一语法信息中所得到的语义信息和语用信息明显不同。
刘建明，王泰玄等．宣传舆论学大辞典：经济日报出版社，1993－03.

语义信息领域比较广泛，我们只关注计算机领域，也就是发现一串数据中蕴含的信息。

图像领域

提取语义信息常用来做语义分割。
什么是图像中的语义信息？就是处理的单元和周围单元之间关联性的意思。比如上下文信息。
上下文信息： 上下文信息也可以被叫做上下文特征。指的是图像中的每一个像素点不可能是孤立的，一个像素一定和周围像素是有一定的关系的，大量像素的互相联系才产生了图像中的各种物体，所以上下文特征就指像素以及周边像素的某种联系。 具体到图像语义分割，一般论文会说我们的XXX算法充分结合了上下文信息，意思也就是在判断某一个位置上的像素属于哪种类别的时候，不仅考察到该像素的灰度值，还充分考虑和它临近的像素。 对其再次解释可以理解为图像中该像素点的像素值与它周围的一些像素是具有一定的关系的，也就是说分割领域中是靠上下文信息来联系像素点之间的关系。因为图像是由像素点组成的，当图像上某个特定区域上的像素点产生了联系，这个区域在图像上就突出出来了，这个区域现在就是这个图像上独一为二的区域，也相当于从图像上分割出来了。所以上下文信息其实就是描述像素点之间的关联/关系的。所以我们对每个像素点进行分类之后根据像素点的类别去找这样的上下文信息，而类别信息就是作为图像上的语义信息。 其实感觉这样说还是有点模糊，毕竟个人认为上下文是一个没有公式定义的东西，更多的还是一种理念，像条件随机场，就是一种充分考虑了上下文信息的代表，局部连接的CRF只考虑局部上下文，全连接CRF考虑了全局上下文。

语义分割，也称为像素级分类问题，其输出和输入分辨率相同（如题图中，左边为2048x1024分辨率的Cityscapes街景图像，输入模型，得到右边同样分辨率的语义图）。由此，语义分割具有两大需求，即高分辨率和高层语义，而这两个需求和卷积网络设计是矛盾的。

图像的语义分为视觉层、对象层和概念层。

• 视觉层即通常所理解的底层，即颜色、纹理和形状等等，这些特征都被称为底层特征语义；
• 对象层即中间层，通常包含了属性特征等，就是某一对象在某一时刻的状态；
• 概念层是高层，是图像表达出的最接近人类理解的东西。

通俗点说，比如一张图上有沙子，蓝天，海水等，视觉层是一块块的区分，对象层是沙子、蓝天和海水这些，概念层就是海滩，这是这张图表现出的语义。

自然语言处理

自然语言理解的目标是让计算机掌握人类语言能力，作为人工智能关注的三大信息类型（语音、视觉、语言）之一，自然语言文本是典型的无结构数据，由语言符号（如汉字）序列构成。
要实现对自然语言的表意的理解，需要建立对该无结构文本背后的语义结构的预测。因此，自然语言理解的众多任务，包括并不限于中文分词、词性标注、命名实体识别、共指消解、句法分析、语义角色标注等，都是在对文本序列背后特定语义结构进行预测。
自然语言理解的关键是语义表示。

什么是自然语言处理（NLP）的语义信息？就是常说的上下文信息，也就是指一个单词与其周围单词之间的关联。
语义计算的任务：解释自然语言句子或篇章各部分(词、词组、句子、段落、篇章)的含义。
不过，以上NLP任务都只是在不断“逼近”对文本的理解，是对文本语义的局部表示。要实现对文本的完整理解，需要建立更完备的语义结构表示空间，这种更完备的语义表示经常成为上述NLP任务进行结构预测的依据。

• 在统计学习时代，一般采用符号表示（Symbol-based Representation）方案，即每个词都看做互相独立的符号。例如，词袋模型（Bag-of-Words，BOW）是最常用的文本表示方案，忽略文本中词的出现顺序信息，广泛用于文本分类、信息检索等任务。N-Gram也是基于符号表示的语言模型，与BOW模型相比，将句子中词的出现顺序考虑了进来，曾在机器翻译、文本生成、信息检索等任务中广泛使用。

• 到深度学习时代，一般采用分布式表示（Distributed Representation或Embeddings）方案，每个语言单元（包括但不限于字、词、短语、句子、文档）都用一个低维稠密向量来表示它们的语义信息。分布式表示是深度学习和神经网络的关键技术。

由于忽略了对词语内部语义或词序信息的考量，基于符号表示的词袋模型或N-Gram失之粗略，无法考虑语言符号背后反映的丰富语义信息，也受到数据稀疏问题的影响；基于分布式表示的深度学习虽然极大提升NLP性能，具有更强大的表示能力和自由度，却更多只能作为NLP内部表示，但目前只能通过特定任务下的数据学习，只能建立满足特定需求的语义表示，可解释性不够，鲁棒性差，另一方面通用性和迁移性不足。这些与人脑展现的语义表示能力相比，还有千里之遥。实际上，也有很多学者提出Semantic Parsing任务，探索各类对文本语义更完整的表示和建模方案，仍未得到令人满意的结果。
未来，需要探索更强大的结构化语义表示空间。例如，是否可以将分布式表示与符号表示相结合，既保留分布式表示的泛化能力，又兼顾模块化和层次化符号表示带来的抽象能力。也许这是下一轮自然语言理解取得革命进展的突破口之一。

语音

从自然语言理解概念的提出，到后续计算语言学（Computational Linguistics，CL）和自然语言处理（Natural Language Processing，NLP）相关术语的出现，伴随自动语音识别（Automatic Speech Recognition，ASR）和语音 合成（Text To Speech Synthesis，TTS）姊妹技术的同步发展，被统称为人类语言技术（Human Language Technology，HLT）的学科方向已经走过了近70年的曲折路程。近年来，从技术应用的角度来看，以机器翻译、人机对话系统、语音识别和语音合成等为代表的应用系统性能快速提升，在人类社会生产和生活中发挥了越来越大的作用。