机器学习
Smarticle
Happy and Tough
展开
-
ICLR2019最佳论文: ON LSTM (RNN阵营对抗Attention的利器)
该文是2019年ICLR两篇最佳论文之一,由蒙特利尔大学MILA实验室(后面会介绍)和微软加拿大研究院联合发表。该文最主要的贡献便是采用巧妙的有序神经元将序列中的树结构建模进去,获得了更高抽象水平的层次表示,一定程度上解决Long term dependency problem,提高了模型训练效率。看完这篇论文,被作者巧妙的想法所打动,一个简单地改进,不仅仅带来了LSTM效果上的极大提升,还可...原创 2019-12-05 21:19:40 · 2707 阅读 · 2 评论 -
论文笔记:GGNN (门控图神经网络)
基本概念GGNN是一种基于GRU的经典的空间域message passing的模型问题描述一个图 G = (V, E), 节点v ∈ V中存储D维向量,边e ∈ E中存储D × D维矩阵, 目的是构建网络GGNN。实现每一次参数更新时,每个节点既接受相邻节点的信息,又向相邻节点发送信息。主要贡献基于GRU提出了GGNN,利用RNN类似原理实现了信息在graph中的传递。传播模型...原创 2019-04-13 18:15:32 · 30386 阅读 · 6 评论 -
深度学习基础知识点总结
一般隐层选择LeakRelu,可以取得较为理想的效果。如果使用ReLU学习率不要设置太高,防止神经元死亡。使用sigmiod函数时不要用在太多的隐层上,也可以替换成tanh看看效果。...原创 2019-03-15 20:59:50 · 653 阅读 · 0 评论 -
深度学习基础:RNN、LSTM和GRU
单层神经网络输入是x,经过变换Wx+b和激活函数f得到输出yRNNLSTMGRU原创 2019-04-01 12:12:55 · 2377 阅读 · 0 评论 -
Frobenius norm(Frobenius 范数)
Frobenius 范数,简称F-范数,是一种矩阵范数,记为||·||F。矩阵A的Frobenius范数定义为矩阵A各项元素的绝对值平方的总和,即 可用于 利用低秩矩阵来近似单一数据矩阵。 用数学表示就是去找一个秩为k的矩阵B,使得矩阵B与原始数据矩阵A的差的F范数尽可能地小。 ...原创 2018-07-04 23:37:07 · 89512 阅读 · 11 评论 -
KNN(k近邻算法)
1 KNN的由来knn中文名:k近邻算法引例:有一天别人给你一个水果,你一眼看见便知道是个苹果。可是如何让电脑也像你一样知道呢?首先,我们脑子里面会有苹果的样子(也就是苹果的特征信息),那我们便将世界上所有水果的样子存放到电脑中,这时电脑就通过传统的比对方法将这个水果与存放的信息进行比对,这样就找到了这个水果。提出问题:这时,这个水果是个变异的,比对不到结果了,怎么办呢?knn便出现了,找个和原创 2017-09-25 11:33:22 · 694 阅读 · 0 评论