bert cnn知识抽取模型_深度学习知识抽取：属性词、品牌词、物品词

序列标注任务是中文自然语言处理(NLP)领域在句子层面中的主要任务，在给定的文本序列上预测序列中需要作出标注的标签。常见的子任务有命名实体识别(NER)、Chunk提取以及词性标注(POS)等。序列标注任务在e成的主要应用有，简历解析时的字段切分、抽取工作经历(CV)和职位描述(JD)中的实体名词等。

更具体的任务有，在解析一段工作经历长文本的时候，我们希望提取其中的动宾组合来表示该应聘者之于此段工作经历的主要工作内容。以“了解市场情况,进行一些项目的商务谈判”为例，HanLP分词器的结果为“了解市场情况,进行一些项目的商务谈判”，此时可以提取的粗动宾组合有“了解-情况”和“进行-谈判”，而我们更希望得到更加完整且意义更加丰富的宾语，因此需要将“市场 情况”合并为“市场情况”，将“商务 谈判”合并为“商务谈判”。因此，我们需要一个能够准确提取名词短语(Noun Pharse)的序列标注模型来克服NP字典召回不足的问题。

基础模型及扩展

很长一段时间，条件随机场(CRF)是序列标注任务的标准模型。CRF将句子中每个标记的一组特征作为输入，并学习预测完整句子的最佳标签序列。以命名实体识别为例，一些常见的特征有：标记本身、它的bi-gram和tri-gram、词性信息、chunk类型等。

目前主流的序列标注模型已经被神经网络所替代，基础的框架一般为循环神经网络(RNN)+CRF[1]。这里我们使用双向RNN来提取序列中每一个标记的完整的过去和未来的上下文信息，而长短期记忆网络作为有效改进RNN梯度消失问题的网络已经成为RNN的标配。双向LSTM的层数一般设置为1-3层，也可以作为一个可调整的超参。

我们不再使用逐帧softmax的预测方法，而是将双向LSTM在每个时间步的输出作为CRF层的输入。CRF与softmax的最大差别在于，前者会学习各个预测标签之间的联系，比如“B-Chunk”的下一个标签必须是“I-Chunk”。

第一个改进方向是，探索词语内部的信息。以“工程师”这个词为例，可以拆解为“工”、“程”、“师”三个字符序列。通过叠加一层双向LSTM或者卷积网络(CNN)来提取词语内部序列的信息[2]。新的内部序列向量可以直接拼接在词向量后面，也可以通过attention的方式来决定词向量和内部序列向量的重要性程度，如下图右边所示。Attention方式通过学习权重系数z来获得全新的线性加权后的向量。

第二个改进方向是，基于字符粒度的输入，以其为基础输入的中文序列标注模型在很多论文中被证明是十分有效的。但是，只是使用字符信息往往是不够的，引入分词标记的信息能够大幅提升模型表现。另外，字符的bi-gram信息也是不错的补充信息。这里，我们将分词标签和字符bi-gram以同样的方式构建embedding的lookup表来获得对应的向量表示，与字符向量拼接在一起，组成综合的特征输入.

另外，中文作为象形文字，较字母文字会有独有的形状特征。如字形特征，或通过卷积网络来提取中文文字的图片信息。卷积后的向量表示即拼接在字符向量后。