机器学习
文章平均质量分 69
wenzishou
这个作者很懒,什么都没留下…
展开
-
拟牛顿法 分析与推导
转自 http://www.cnblogs.com/liuwu265/p/4714396.html ,侵删网上查拟牛顿法的推导,找到一个感觉比较容易读懂的,保存下来针对牛顿法中海塞矩阵的计算问题,拟牛顿法主要是使用一个海塞矩阵的近似矩阵来代替原来的还塞矩阵,通过这种方式来减少运算的复杂度。其主要过程是先推导出海塞矩阵需要满足的条件,即拟牛顿条件(也可以称为拟牛顿方程)。然转载 2017-06-16 19:36:35 · 5967 阅读 · 2 评论 -
FTRL算法
先占坑,http://www.wbrecom.com/?p=412 这篇写的不错,思路写的清晰在上一篇博文中中我们从原理上定性比较了L1-FOBOS和L1-RDA在稀疏性上的表现。有实验证明,L1-FOBOS这一类基于梯度下降的方法有比较高的精度,但是L1-RDA却能在损失一定精度的情况下产生更好的稀疏性。那么这两者的优点能不能在一个算法上体现出来?这就是FTRL要解决的问题。转载 2017-06-22 08:50:53 · 4905 阅读 · 0 评论 -
交叉熵为何能作损失函数
在很多二分类问题中,特别是正负样本不均衡的分类问题中,常使用交叉熵作为loss对模型的参数求梯度进行更新,那为何交叉熵能作为损失函数呢,我也是带着这个问题去找解析的。以下仅为个人理解,如有不当地方,请读到的看客能指出。我们都知道,各种机器学习模型都是模拟输入的分布,使得模型输出的分布尽量与训练数据一致,最直观的就是MSE(均方误差,Mean squared deviation), 直接就是原创 2017-08-27 18:26:30 · 33842 阅读 · 2 评论 -
xaviar initializer deep learning 参数初始化
xavier initilizer解读本文原版对论文 Understanding the difficulty of training deep feedforward neural networks 的理解,不对之处,欢迎指正动机我们都知道,深度学习中的初始化好坏直接影响到模型的效果,包括使用pre-training, 也无非是为了给模型优化一个好的起点。最简单直接的方法当然是各种对参数进行随机,原创 2017-12-07 02:24:42 · 516 阅读 · 0 评论 -
【CTR】Adaptive Targeting for Online Advertisement
这是一篇比较早期的文章(2015年),目的当然也是为了提高CTR,不过未使用的模型训练,更多的是从数据统计的角度,可能对于整天搞模型的同学来说参考价值不大,但可以加深整个广告系统的了解,非常易读。文章首先介绍了adx系统结构:上述的系统框图比较很经典,就不多说了,文章中也有详细的步骤。文章的重点是作为Demand Partner,怎么多Ad Campaign里选择出合适的广告发送给Ad...原创 2018-12-31 18:39:07 · 867 阅读 · 0 评论