![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
kongbaifeng
这个作者很懒,什么都没留下…
展开
-
Graphormer代码解读-spatial pos
Graphormer原创 2022-03-01 18:02:49 · 1320 阅读 · 0 评论 -
激活函数与随机正则
不管其他领域的鄙视链,在激活函数领域,大家公式的鄙视链应该是:Elus > Relu > Sigmoid ,这些激活函数都有自身的缺陷, sigmoid容易饱和,Elus与Relu缺乏随机因素。 在神经网络的建模过程中,模型很重要的性质就是非线性,同时为了模型泛化能力,需要加入随机正则,例如dropout(随机置一些输出为0,其实也是一种变相的随机非线性激活), 而随机正则与非线性激活是分开的两个事情, 而其实模型的输入是由非线性激活与随机正则两者共同决定的。 GELUs正是在激活中引入了随机正原创 2022-02-15 15:52:53 · 475 阅读 · 0 评论 -
机器学习方法总结
机器学习方法总结 LR(逻辑回归) LR目标是寻找一个映射,将Z转换成0或1。 可以使用阶跃函数,但是阶跃函数性质不好,不可导求解过于复杂,这里选用Sigmoid函数。 求得预测值为y的概率表达式为: 假设样本独立且同分布,最大似然估计: 那么,LR的损失函数是 损失函数表征预测值与真实值之间的差异程度,P(Y|X)为样本为Y的概率,数值越大说明预测值与真实值越接近即损失函数应该越小,当P(Y|X)越大的,-logP(Y|X)越小,刚好符合损失函数的定义。 在此损失函数可以取为最大似然估计函数的相反数原创 2022-02-10 11:20:58 · 1210 阅读 · 0 评论