ML&DL
文章平均质量分 66
桂小Z
这个作者很懒,什么都没留下…
展开
-
stanfordnlp使用自定义分词分句
最近做实验需要用到stanfordnlp工具构造dependency tree,我的数据是已经分好词的,但是用stanfordnlp跑了之后,发现它自己重新分的词与原始分词不符,就会导致误差和一系列麻烦,所以着手修改源码。stanfordnlp使用方法见链接:https://stanfordnlp.github.io/stanfordnlp/installation_usage.html要求p...原创 2020-01-14 19:32:21 · 2186 阅读 · 0 评论 -
ng Machine Learning课程笔记(1)——Linear Regression线性回归
回归问题:输出是实数分类问题:输出是固定的离散值在一个模型中,m表示训练集的数量,x表示输入,y表示输出,上标(i)表示数据在训练集中的索引。单变量的线性回归:使用梯度下降(gradient descent)的算法,调节θ的值。设定初始的θ值,然后逐步改变θ,使J(θ1,θ2)减小,直到达到最小值。每个参数是同步下降的。α称为learning rate,学习速率。既...原创 2018-10-01 23:35:35 · 227 阅读 · 0 评论 -
ng Machine Learning课程笔记(3)——Neural Networks神经网络
动机:只是简单的增加二次项或者三次项之类的逻辑回归算法,并不是一个解决复杂非线性问题的好办法。因为当n很大时,将会产生非常多的特征项。任何一个不是输出层或输入层的都被称为隐藏层。如果把前面的输入层和隐藏层遮住,只剩下最后一个隐藏层和输出层,那么这个模型看起来就像是逻辑回归。只不过输入不再是特征x,变成了前面隐藏层的输出。因此,神经网络可以在前面的隐藏层中经过调整θ值(权重),计算出更好的特...原创 2018-12-12 15:23:58 · 160 阅读 · 0 评论 -
ng Machine Learning课程笔记(2)——Logistic Regression逻辑回归与Overfitting过拟合
Logistic Regression逻辑回归二分类问题考虑到二分类问题,一种方法是用线性回归,所得结果大于0.5的归类为1,小于0.5的归类为0,但是这种方法存在问题,因为分类问题本身并不一定是线性的。如果增加一个距离很远的点,拟合得到的直线就会出问题,从而得不到想要的结果。应用逻辑回归时,希望得到的结果在0-1之间,我们使用Sigmoid Function,也成为Logisti...原创 2018-11-02 21:24:32 · 488 阅读 · 0 评论 -
《An Attentive Survey of Attention Models》论文阅读笔记
IJCAI 2019的文章,对注意力机制做的综述。地址:https://arxiv.org/abs/1904.02874注意力机制的高速发展有三个原因:1、这些模型取得了state-of-the-art的结果。2、注意力机制可以被用来提升神经网络的可解释性。不然NN只能被理解为一个黑盒。3、有助于克服递归神经网络(RNNs)的一些挑战,如随着输入长度的增加而导致的性能下降和由于...原创 2019-05-12 20:12:44 · 1225 阅读 · 3 评论 -
Deep contextualized word representations (ELMo) 阅读笔记
ELMo (Embeddings from Language Models)引入了一种新的深度上下文单词表示,不仅能对单词使用的复杂特征(如语法和语义)进行建模,还能根据上下文语境的不同做出改变(一词多义)。与传统的单词类型嵌入不同,每一个token的表示是整个输入句子的函数。它们是在带有字符卷积的两层biLMs上计算的双向语言模型给定N个token的序列,(t1,t2,……,tN...原创 2019-05-26 15:58:59 · 329 阅读 · 0 评论 -
Bilingual Sentiment Embeddings: Joint Projection of Sentiment Across Languages论文笔记
Bilingual Sentiment Embeddings论文笔记前言模型Cross-lingual ProjectionSentiment ClassificationJoint LearningTarget-language Classification前言这篇文章主要是为了做跨语言的情感分析,提出了一种embedding的方法。核心思想就是将两种不同的语言映射到同一个向量空间上。这样...原创 2019-06-07 13:40:00 · 507 阅读 · 0 评论 -
MASS: Masked Sequence to Sequence Pre-training for Language Generation阅读笔记
文章目录模型实验和结果Pre-trainingFine-tuningNMTtext summarizationconversational response generation模型主要思想就是受到bert的启发,在生成领域搞一个预训练模型。作者提出一个无监督的预测任务:给定一个句子x∈X,对其中从u到v的token进行掩盖,形成一个序列:被遮盖的token统一用一个标识符替换:模...原创 2019-06-16 22:34:19 · 1050 阅读 · 0 评论