![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习相关
文章平均质量分 94
leobean18
这个作者很懒,什么都没留下…
展开
-
图神经网络调研
这里写自定义目录标题图神经网络简介应用场景典型模型GCNPinSAGEGraphSAGEGAT图神经网络与知识图谱部分参考链接: 最近在做一些图神经网络相关的课题,做了些调研,简单记录一下想法和收获。 图神经网络简介 图(Graph)这种数据结构在很多场景下都有大量应用和表现。各节点通过边建立关系,图神经网络是借助神经网络的知识,将图中的每个节点embedding为向量,每个节点向量化后,就可以做很多下游任务了,比如节点的分类、节点间链路预测、节点相关性预测等等。 应用场景 有了节点的embedding表示原创 2021-01-28 21:02:50 · 664 阅读 · 1 评论 -
Deep Cross Network
看到了一篇讲的很好的DCN解读,摘录一下 https://blog.csdn.net/Dby_freedom/article/details/86502623 FM,deepFM,DCN都常用来做推荐场景的点击率预估。主要是针对超大维度的特征,希望通过模型较好的通过原始特征,学习二阶特征或高阶特征。 ...原创 2020-07-07 22:59:34 · 239 阅读 · 1 评论 -
CenterNet:objects as points
https://zhuanlan.zhihu.com/p/66048276 这里重点摘录一下对loss的解读,对我启发很大。转载 2019-11-15 17:21:12 · 263 阅读 · 0 评论 -
目标检测研究现状调研
近期在调研目标检测的研究现状,包括two-stage和one-stage,以及anchor-based和anchor-free。 把用到的一些链接记录一下 ,方便查阅。 机器之心的一篇文章: 从锚点到关键点,最新的目标检测方法发展到哪了 这篇文章介绍了目标检测方法从anchor-based到anchor-free的发展,并指出anchor-free将会是比较有前景的研究方向。文章是以一篇综...原创 2019-08-20 15:43:05 · 11205 阅读 · 0 评论 -
支持向量机原理
唐老板的高级机器学习课上讲了SVM的原理,对支持向量机的推导和原理又加深了理解。 最大化间隔 支持向量机就是希望超平面能距离两个类别点尽可能的远,也就是最大化间隔的思想。 前面就不说了,目标函数就是最大化“超平面到两部分支持向量距离之和”,也就是左上角的式子,也相当于最小化其倒数。 而γ可以通过改变w的值而约掉,所以没有意义,这种损失函数(Lasso loss function)及约束条件...原创 2019-03-22 23:03:42 · 418 阅读 · 0 评论 -
卷积神经网络
这节课讲了卷积神经网络的相关内容。包含了卷积、池化、反向传播、banch normalization相关的内容。 依然只把大体思想说说,不作为科普性文章展开描述。 卷积神经网络 在处理图像等信息时,由于各像素的位置关系是非常有意义的,而多层神经网络却无法捕捉到这种空间上的语义,所以处理图像会非常不合适。而卷积神经网络充分考虑到了图像像素的位置信息,通过卷积、池化等操作一步步将图像信息提取至高...原创 2019-03-18 20:45:29 · 259 阅读 · 0 评论 -
多层神经网络
对于多层神经网络,BP算法可以有效地对参数迭代更新。刚做完BP算法的作业,结合自己的理解简要写写重点,不展开写具体过程了。 BP算法 前向传播是指从输入逐层计算,得到输出。反向传播用来对参数进行梯度计算和更新。 为了简化,将这些层全部考虑为全连接层,这样每层都有w和b参数矩阵。过段时间再重新推导一遍。在推导过程中,首先要明确,z=w*x+b, a=g(z)。其中,x,a分别指改层的输入和输出...原创 2019-03-12 11:43:44 · 7362 阅读 · 0 评论 -
再谈线性回归与逻辑回归-损失函数
高级机器学习笔记 线性回归的损失函数我们采用的是均方误差函数。而逻辑回归采用的是交叉熵。 均方误差 对于线性函数来说,我们使用平方形式的时候,使用了“最小二乘”的思想,就是用平方来度量估计值与真实值的距离,使其达到最小。而且,如果假设误差服从正态分布,它与最大似然估计在本质上是相同的。 如下面两张图所示: 误差满足正太分布的话,那么我们可以让似然函数L(w)取最大的值,然后可以求出红...原创 2019-03-07 15:44:07 · 1551 阅读 · 0 评论 -
深度学习笔记
第一节课 1.机器学习模型, 就是为了使模型的输出结果与原结果的差距尽可能小。 下图的公式中,L就代表损失函数。最后一项是正则项,可以防止过拟合。因为过拟合的情况下,参数的个数会比较多,而如果加上这个惩罚项,就能使很多参数值为0,这样,输入向量的很多维都因为不重要,而不在上面加入权重,从而防止过拟合。还可以按照下面的公式来理解:控制了w的大小,这样就能保证模型输出结果与原结果的差距,保持在一...原创 2019-02-25 18:56:06 · 612 阅读 · 0 评论