![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
文本分类
Jeu
本科阶段专业是光信息科学与技术,研究生阶段课题是目标跟踪算法的研究,毕业后从事nlp相关领域的工作,包括对话系统、摘要生成、实体识别等
展开
-
统计学习方法学习1.0
决策树 决策树是一种分类和回归方法 优点:模型可读性,分类速度快 过程:特征选择、决策树的生成、决策树的剪枝 损失函数:正则化的极大似然函数 特征选择:多个特征时,如何选择某个特征作为判断的依据 信息增益: 熵定义: 熵越大,随机变量的不确定性越大。 条件熵: ...原创 2020-01-07 10:10:46 · 163 阅读 · 0 评论 -
阿里few shot learning文章的个人理解
先贴结构图: 1、每次C类,每类K样本,剩下的是测试集。 2、encoder层是BiLSTM+attention,得到编码向量,假设隐含层个数是96个,句子长度是30,暂不考虑batch_size,那么每个字的隐含层就是1*192向量,整个H就是30*192,那么attention的最后输出就是一个1*192的向量(计算公式如下,权重矩阵W是30*192的矩阵)。 ...原创 2020-01-05 16:55:58 · 513 阅读 · 0 评论 -
知识蒸馏
https://blog.csdn.net/xbinworld/article/details/83063726转载 2020-01-03 15:51:47 · 145 阅读 · 0 评论 -
7、文本分类算法
textCNN:前面介绍过,这里不做赘述 TextRNN:前面介绍过,也不做赘述 Attention:就是在输出之后加了一层attention,感觉大家都已经很了解了,但还是简单说一下,attention就是输出层的s(t-1)与前面所有的隐含层做乘积再softmax,得到一个权重分布的向量,再与所有隐含层相乘叠加得到c(t)(权重矩阵的计算有多种方法,点乘是一种,下面代码中的是相加),然后再...原创 2019-12-25 20:38:41 · 613 阅读 · 0 评论 -
3、CNN、RNN、LSTM
1、CNN:就是把每个字转换成向量,再拼接成图像的样式,再用卷积核处理,再池化和拼接,再softmax得到分类结果,卷积核的作用能够整合一些上下文信息。 2、RNN:前向网络中加入了前一个字的信息,隐含层嘛;能够整合更多的上下文信息,效果更好,但是会出现梯度消失和爆炸。产生的原因是什么呢?在bp过程中(这里就不推导了),当前层参数的导数是后面所有层导数跌成的结果,主要包含激活函数的导数和权值...原创 2019-12-25 18:33:44 · 758 阅读 · 0 评论 -
2、TF-IDF和BM25计算文本相似度
这两者计算的都是文档和文本之间的相似度,如果是两个短文本貌似也可以。 1、TF-IDF = TF * IDF 假设文本是“我怎么这么帅气”,4个词,第一个词“我”, 文档1中一共有10个词,“我”有2次,这个词的词频都是2,这就是TF 第一个词“我”,在所有文档中,有“我”这个词的文档数是m,文档总数是n,则IDF = log(n/(m+1)) 所有词叠...原创 2019-12-25 17:28:22 · 801 阅读 · 0 评论 -
胶囊网络
https://www.sohu.com/a/226611009_633698转载 2019-09-26 16:19:20 · 284 阅读 · 0 评论 -
Lattice LSTM
Lattice LSTM 由于中文的实体一般都是由词语组成的,所以分词与NER在中文领域具有很强的相关性,一般操作是先分词,再做词序列标注。很明显的,分词错误会导致ner的错误,尤其在开放领域,跨领域分词仍然是一个难题。 简单来说Lattice LSTM是利用字符作为输入的基础上,加上了分词的信息,就这样,没了,具体怎么加的,看一下文章接下来来讲 1、文章首先介绍了关于中文的两种实体识别的方...原创 2019-09-18 16:50:40 · 9976 阅读 · 6 评论 -
双层LSTM+CRF做实体识别,详细过程,看不懂我自罚三杯!!!
BiLSTM+CRF: 如果看了之后还看不懂,我自罚三杯!!! 参考的是国外一个很好的博客,原文链接:https://createmomo.github.io/2017/12/06/CRF-Layer-on-the-Top-of-BiLSTM-7/ 现在抽空学习一下知识图谱方面的知识 1、Introduction: 1.1 开始之前: 假设我们有两个实体类别:person...原创 2019-09-11 19:55:06 · 3889 阅读 · 1 评论 -
激活函数快速理解
1、sigmoid函数 所以啊很明显,会导致梯度消失(因为在反向传播BPTT过程中,在对w求导时,会包含f(x)的导数,多层时就相当于0.25的n次方,前面的单元更新态度太小了,所以是梯度消失啦) ...原创 2019-09-02 16:57:19 · 388 阅读 · 0 评论 -
java调用文本分类textrnn模型,勿踩坑
直接贴代码 # 将模型保存为可用于线上服务的文件(一个.pb文件,一个variables文件夹) # print('Exporting trained model to', save_dir) builder = tf.saved_model.builder.SavedModelBuilder(save_dir) # 服务器专用代码 classification_signature = ( ...原创 2019-08-08 18:15:47 · 845 阅读 · 2 评论