nlp
文章平均质量分 76
Remember00000
这个作者很懒,什么都没留下…
展开
-
Hugging face教程-使用速查表-快速入门
hugging face教程原创 2023-02-02 14:57:44 · 1810 阅读 · 3 评论 -
Onehot_encode与Word2vec词向量训练
Onehot_encode与Word2vec词向量训练1.编写onehot_encode函数使用:class sklearn.preprocessing.OneHotEncoder(*, categories='auto', drop=None, sparse=True, dtype=<class 'numpy.float64'>, handle_unknown='error')categories中指定含有的类别[[a,b,c],[1,2,3]]一个大数组表示所有的特征,里面的每一个原创 2022-04-07 22:17:05 · 1656 阅读 · 0 评论 -
CBOW与Skip-Gram
CBOW与Skip-Gram两个训练任务,过程中产生VxD的矩阵,可以用于将独热编码压缩缩短,得到的矩阵叫embedding矩阵。CBOW根据矩阵的维度思考:第一个是VxN,用于实现维度压缩;第二个是NxV为了得到这个位置上是语料库中任意一个单词的概率,通过softmax 最大化groundtruth(真实单词)的概率,反向传播训练得到矩阵。参考Skip-Gram中间同样实现降维,降维后再输出到V维度上概率,表示该位置单词成为这个单词上下文的概率。第一个仍然是降维矩阵,第二个是为了得到概原创 2022-04-07 21:55:24 · 257 阅读 · 0 评论 -
Bert+LSTM+CRF命名实体识别pytorch代码详解
Bert+LSTM+CRF命名实体识别从0开始解析源代码。理解原代码的逻辑,具体了解为什么使用预训练的bert,bert有什么作用,网络的搭建是怎么样的,训练过程是怎么训练的,输出是什么调试运行源代码NER目标NER是named entity recognized的简写,对人名、地名、机构名、日期时间、专有名词等进行识别。结果输出标注方法采用细粒度标注,就是对于每一个词都给一个标签,其中连续的词可能是一个标签,与原始数据集的结构不同,需要对数据进行处理,转化成对应的细粒度标注形原创 2022-03-28 14:20:14 · 18480 阅读 · 22 评论 -
损失函数熵理解
损失函数熵理解详解:https://www.cnblogs.com/wangguchangqing/p/12068084.html#autoid-0-0-0熵:信息量大小,和化学中的混乱程序想对比理解,越大表示不确定性越大,信息量越小;因此越小越好相对熵:也叫KL散度,两个概率分布的相似程度,越小越相似,从公式也可以看出来两个每个的概率都相同,那么为0;交叉熵:目标分布与原分布的相似程度;很多损失函数都是用交叉熵表示的,就是用自己求出的分布和原分布比较相似性,越小越好,其中含有的含义就是相似原创 2022-03-20 21:09:35 · 755 阅读 · 0 评论 -
手写CRF
手写CRF:potorch版本对于pytorch和crf小白,从0开始学会手写CRF!本文对于pytorch和crf原理有详细解释,是对原作代码的进一步解释补充。原理: crf是为了给词和词之间的连接相邻关系加一个限制,比如吃->饭,而不是吃->人具体操作时就是给出句子词语的特征函数,做个特征函数采用加权方式,通过函数得到得分,词性标注结果在特征函数上最高的,作为词性标注结果。这里的特征函数,传统方式为构造法。神经网络bilstm-crf:crf层的学习参数为转移矩阵,每个词性后面一个词原创 2022-03-20 20:57:28 · 1496 阅读 · 0 评论