语料分析相关概念

1、召回率（Recall Rate）与精度

召回率，百分数，查出相关文档数跟所有相关文档树的比率

精度是观测结果、计算值或估计值与真值（或被认为是真值）之间的接近程度

对于一个系统来说，召回率和精度不可能两全其美，反而，召回率越高精度越低，精度越高召回率越低

系统的精度可以用11种召回率下11种精度的平均值来衡量

搜索引擎系统都很关心精度而不是召回率

2、 语素

语法单位有大有小，最大的语法单位是句子，比句子小的语法单位，依次是短语、词、语素

语素按音节分类可分为：单音字语素、双音字语素和多音节语素三类

其中单音字语素如：土、人、风、子、民等。

双音节语素分为五种：双声——数目相同的连绵字；叠韵——韵母相同的连绵字；非双声叠韵的连绵字，如：蜈蚣，珊瑚等；外来词，由汉外语言音译过来的词，如干部；专用名词，地名、人事名等。

多音节语素包括拟声词，专用名词和音译外来词。

3、词

词是由语素构成，比语素高一级的语言单位

词是最小的能够独立运用的语言单位，“独立运用”是指能够单说（单独成句）或单用（单独做句法成分或单独起语法作用）。词的构成方法是：过程、关键字、排列法

4、音节

音节是听觉感觉可以区分清楚的语言的基本单位。汉语中一个汉字就是一个音节，每个音节由声母、韵母个声调三个部分组成。

普通话种只有414个不分声调的音节，带上四个声调也只有1295个，而汉字基本字符集由6734个，扩充字符集可达几万个，主要原因有，多音字，基本字符集外的异形字，以及一对一，多对多，一对多的繁体字。