卖女孩的小火柴biu-CSDN博客

原创 CRF损失函数与维特比解码

本节是在上一篇博客的基础上写的。在上一篇博客我们学会了如何通过BILSTM提取特征得到发射分数，如何荣国CRF层约束标签得到转移分数。对于一个标签序列，我们可以通过发射分数和转移分数的和计算这条路径的最终得分。这是前向学习的内容，我们知道深度学习需要定义损失函数来进行反向传播，更新梯度。对于序列标注的模型，如何定义损失函数呢？我们可以使用CRF损失函数学习模型参数。在这里维特比解码要解决的问题是对于一个新的样本过来我们如何通过发射分数和转移分数在所有的可能路径中找到最优路径。前向算法概率计算问题(

2021-03-25 09:05:16 2268

原创论文分享 |基于知识追踪的学习者动态知识建构过程及认知项目难度建模

论文分享 |基于知识追踪的学习者动态知识建构过程及认知项目难度建模论文Modeling learner’s dynamic knowledge construction procedure and cognitive item difficulty for knowledge tracing期刊Applied Intelligence论文层次SCI(3区)发表时间2020.7一.问题描述知识建构一般来说，知识建构的过程是不断演变的，因为学生会随着时间的推移

2021-02-25 16:31:00 831

原创知识追踪模型——教育大数据挖掘

知识追踪模型概述BKT贝叶斯知识追踪(BKT)是最流行的知识追踪模型。在BKT模型中提出了一个关于学生知识状态的隐变量，学生的知识状态由一个二元组表示 {掌握该知识点，没掌握该知识点}。整个模型结构实际上是一个HMM模型，根据状态转移矩阵来预测下一个状态，根据当前的状态来预测学生的答题结果。而且在BKT模型中认为知识一旦掌握就不会被遗忘，最近有研究引入了学生未掌握知识的情况下猜对题目的概率和学生掌握知识的情况下答错题目的概率，学生的先验知识和问题的难度来扩展模型。然而不管有没有这些扩展，BKT模型依然存

2021-01-15 15:01:12 7984 2

原创数据预处理之one-hot词向量

one-hot编码实现详解one-hot编码是特征处理中的必备，在项目中我们是这么应用的：Tensorflow中one_hot() 函数用法代码：sklearn实现one-hot编码

2021-01-08 18:08:46 616 1

原创 NLP之Word2Vec详解

什么是跳字模型？在跳字模型中，我们用一个词来预测它在文本序列周围的词。例如，给定文本序列"the", “man” “hit , his”,和"son"，跳字模型所关心的是，给定"hit" ，生成它邻近词"the", " man", “his ,和"son"的概率。在这个例子中，“hit"叫中心词，“the”, " man”, “his”,和"son"叫背景词。由于"hit"只生成与它距离不超过2的背景词，该时间窗口的大小为2。我们来描述一下跳字模型。假设词典大小为|V|，我们将词典中的每个词与从0到|

2021-01-02 16:51:33 332

原创 Word2vec之CBOW 模型

什么是 Word2vec?NLP 里的词语，是人类的抽象总结，是符号形式的（比如中文、英文、拉丁文等等），所以需要把他们转换成数值形式，或者说——嵌入到一个数学空间里，这种嵌入方式，就叫词嵌入（word embedding)，而 Word2vec，就是词嵌入（ word embedding) 的一种。在 NLP 中，f(x)->y，把 x 看做一个句子里的一个词语，y 是这个词语的上下文词语，那么这里的 f，便是 NLP 中经常出现的语言模型，这个模型的目的，就是判断 (x,y) 这个样本，是否符

2021-01-02 13:47:09 2129 2

原创【论文分享】《Knowledge Base Completion Using Matrix Factorization》

本次分享一篇来自APNet2015的论文《Knowledge Base Completion Using Matrix Factorization》。传统的知识库补全方法忽略了隐含在各种知识库中的知识互补性。本文提出了跨知识库的补全，这也是知识融合的必然趋势。跨知识库的补全目标是在不同的知识库中找到对方没有的知识，然后进行补全。论文思想：在矩阵分解 (matrix factorization) 的基础上提出对不同知识库进行知识库补全，该方法将三元组中的关系描述为谓词, 而谓词对主体和客体都有类型要求

2020-12-26 20:33:24 292

原创详解BILSTM-CRF模型结构进行命名实体识别

1.句子转化为字词向量序列，字词向量可以在事先训练好或随机初始化，在模型训练时还可以再训练。2.经由BILSTM特征提取，输出是每个单词对应的预测标签。3.经CRF层约束，会对输出的分数进行校正，输出是最优标签序列。Step1：Word Embedding定义：Word Embedding是一个基于分布式假设的预训练模型。它假设两个语义相近的词在高维空间中距离更近。方法流程：1.将一个含有n个词的句子记作：x = (x1，x2，…xn)。2.利用预训练的embedding矩阵将每个字映射为低维

2020-11-20 13:48:24 9718 1

原创归一化和标准化的区别？

一．为什么会用到归一化和标准化？通俗理解：主要是为了调整样本数据每个维度的量纲，让每个维度数据量纲相同或接近。为什么要调整量纲？目的是什么？1.什么是量纲不一样？现在有一个2分类任务，预测一批零件是合格品还是残次品。每个零件有两个维度特征，一个是半径，合格品为0.1 m，另一个是长度，合格品为100m。我们可以看到长度的数值比较大，半径的数值比较小。一个特征0.1m左右，另一个特征100m左右，这个就叫量纲不一样。0.1m左右的特征，上差下差也是几cm的差距，而100m的特征上差下差可能差出10c

2020-11-03 17:49:59 2034

m0_45283671的博客