机器学习
无
tiny_Sean
这个作者很懒,什么都没留下…
展开
-
细粒度情感分析各位大佬的经验
阁子:对于少的类别要注重召回而不是准确,由marco f1的性质决定,没召回的损失远远大于误召回的损失。比如label2的0类别。训练如果是softmax是拟合分布,不会考虑这点。可以考虑设置一些权重。针对f1,考虑规则学习, 机器学习周志华15章需要翻看。stack-lstm,attention with generally pooling 单模71。加下规则可能达到71.5阁子:glo...原创 2020-03-19 09:59:28 · 183 阅读 · 0 评论 -
因子分解机-FM和FFM
独热(one-hot)编码的好处独热编码是将特征离散化的一种方法,在因子分解机FM中非常推荐使用。对于那些连续化特征,分桶就能实现离散化,但好处不是很明显。而对于那些本身离散化的特征,即假设0表示北京,1表示南京,2表示上海,那么one-hot编码后则用[1,0,0]表示北京,[0,1,0]表示南京,[0,0,1]表示说上海,这样做最大的一个好处是三个地方之间的距离相同。因子分解机好处...原创 2020-03-17 23:17:25 · 278 阅读 · 0 评论 -
处理不平衡类别的loss
在进行多分类问题的时候,常常会遇到数据不平衡的状况,对于多分类问题,常见的loss有categorical crossentroy,可以考虑手动设置loss权重来增加模型的准确度,将类别较少的类权重增高。在试验中,用的数据是情感分析label2的数据集,在不加权重f1值为0.53,权重为[1 2 3 1]后f1值为0.55, 权重为[1 2 6 1]后f1值为0.567。...原创 2018-11-17 11:06:45 · 2865 阅读 · 0 评论 -
On Loss Functions for Deep Neural Networks in Classification读后感
分类问题中的另一类loss函数In particular, for purely accuracy focused research, squared hinge loss seemsto be a better choice at it converges faster as well as provides better performance.It is also more robu...原创 2018-11-17 12:12:05 · 362 阅读 · 0 评论 -
attention is all you need翻译
Attention is all you need摘要 在过去序列模型主要由循环神经网络(下面简称rnn)或者是卷积神经网络(下面简称cnn)加上编码器(下面简称encoder)和解码器(下面简称decoder)搭建而成, 某些性能比较好的模型也会在原来基础上将编码器和解码器与注意力(下面简称attention)机制联系起来。在这里,我们提出了一种全新的网络架构—Transformer,它完全摒...原创 2019-01-14 10:21:52 · 942 阅读 · 2 评论 -
2019大数据挑战赛TOP5方案总结
2019 BDC 比赛总结(图片完整访问版请访问)2019中国高校计算机大赛已正式结束。对于我个人而言,这是第一次进入算法比赛的TOP10。我们队伍在初赛排在大概50名左右,复赛B榜8名,最终决赛第9名,这里是自己比赛的最终提交方案,求star。。。。。。。。。。本次总结是争对决赛TOP5方案的,毕竟自己做的跟他们比还有一些差距,我会尽自己所能的将他们做的全部方案融合进这一篇blog中,以此来...原创 2019-08-28 14:31:59 · 1133 阅读 · 1 评论 -
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding翻译
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding摘要 我们介绍一种新的语言模型—bert,全称是双向编码表示Transformer。不同于最近的其他语言模型,bert基于所有层中的上下文语境来预训练深层的双向表示。因此,经过预先训练的bert表示仅需在最后一层输出层上进行微调,就可以胜...翻译 2019-01-14 10:20:56 · 1190 阅读 · 2 评论 -
全球AI挑战赛-细粒度情感分析赛道
*** 这是我全力参加的第一个数据类比赛,成绩不谈,重在过程。很感谢比赛中帮助我的实验室师兄们,尤其是陈师兄,刘师兄,还有林大哥和张大哥,具体名字我就不透露了。写这个总结的目的主要是为了整理下过去二十多天所跑的思路想法,如有错误,希望各位大佬能指正,学业繁忙,不能及时回复尽情理解,我会慢慢更新的。*** # 数据预处理...原创 2018-11-13 21:20:13 · 1580 阅读 · 2 评论 -
Attention Is All You Need读后感
Attention is all your need论文地址, 此文仅仅是为了记录自己的学习过程 ,有错误欢迎大家指正。1. 提出背景在过去几年中,以LSTM和GRU的循环神经网络在nlp领域中发挥了巨大的作用吗,但是此类模型有一些缺陷,一个是存储记忆限制了训练样本的batch size, 二是计算代价大,三也就是此类模型固有缺陷,训练时候序列之间两个对象的联系依赖于两个对象的距离,这...原创 2018-11-05 23:52:29 · 603 阅读 · 0 评论 -
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling读后感
论文地址此文仅仅记录一下自己的学习过程循环神经网络历史背景循环神经网络是一个序列模型,它与传统CNN最大的不同在于它具有记忆性,它可以记录以前的状态,根据以前的状态和当下的输入生成一个新的状态。它同时也是一个概率生成模型,印象中我感觉它跟HMM有很多相同点,不过HMM能训练的参数比较少,这也许就是HMM比较弱的原因。继续回到循环神经网络,它在训练的时候有一个很大的问题,就是梯度消失和梯度爆...原创 2018-11-03 00:43:31 · 640 阅读 · 0 评论 -
特征选择
特征选择常用方法1. 过滤法Filter按照发散性或者相关性对各个特征进行评分,设定阈值或者待选择阈值的个数,选择特征。发散性就是去掉那些取值变化小的特征,一般先进行归一化,然后计算方差,删除那些方差比较小的特征。相关系数法如下:(1). 互信息(Mutual Information)互信息(Mutual Information)是衡量随机变量之间相互依赖程度的度量。假设存在一个随机...原创 2020-03-14 21:45:37 · 551 阅读 · 0 评论 -
异常检测算法--LOF
1. 主要思想针对给定的数据集,对其中的任意一个数据点,如果在其局部邻域内的点都很密集,那么认为此数据点为正常数据点,而离群点则是距离正常数据点最近邻的点都比较远的数据点。通常有阈值进行界定距离的远近。2. compare with 及其他算法2.1 孤立森林孤立森林不适用于特别高维的数据。由于每次切数据空间都是随机选取一个维度,建完树后仍然有大量的维度信息没有被使用,导致算法可靠性降低。...原创 2020-03-14 20:50:07 · 1331 阅读 · 0 评论