深度学习
Chen__Wu
这个作者很懒,什么都没留下…
展开
-
命名实体识别 notebook
1、方法步骤先通过 CRF 进行分词,在分词的基础上再利用双向 LSTM 模 型 ( bi-directional long short-term memory,BI-LSTM) 进行命名实体识别。在进行中文分词的时候 使用 CRF 模型,可以同时考虑词语出现的频率和上 下文语境,因此具备了较好的上下文融合能力,同时 CRF 对于歧义词和未登录词也具有良好的识别效果。弥补神经网络特征学习不足的...原创 2019-07-18 14:03:17 · 188 阅读 · 0 评论 -
命名实体识别的三中标注方法BIO,BIOES,BMES
一、BMES 四位序列标注法B表示一个词的词首位值,M表示一个词的中间位置,E表示一个词的末尾位置,S表示一个单独的字词。我/S 是/S 广/B 东/M 人/E (符号标注,‘东’是‘广’和‘人’的中间部分,凑成‘广东人’这个实体)我/ 是/ 广东人/ (标注上分出来的实体块)二、BIO 三位标注(B-begin,I-inside,O-outsid...原创 2019-07-18 14:11:35 · 21748 阅读 · 3 评论 -
bert-BiGRU-crf notebook
1、Named entity recognition (NER)(Bidirectional Encoder Representations from Transformers)IndRNN-CRF 和 IDCNN-BiLSTM-CRF 和 LatticeLSTM 优于 BiLSTM-CRFBERT-BiGRU-CRF 最强2、bert训练的是字向量先通过 BERT 预训练语言模型获...翻译 2019-07-17 20:14:57 · 6831 阅读 · 7 评论 -
cross_entropy交叉熵函数之间区别和优化原理
注:log在表示信息量时一般默认底为2一、熵信息量,假设每件事请发生的概率为P(i)熵用来标识所有的信息量的期望值二、相对熵(KL散度)对于一同一个随机变量x有两个单独的概率分布P(x)和Q(x),用KL散度(Kullback-Leibler (KL) divergence) 来衡量这两个分布的差异。训练过程就是要把D(KL)最小化,使得预测值和准确值更加接近。三、交叉熵3....原创 2019-08-31 15:17:21 · 444 阅读 · 0 评论