![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
Shev_7
这个作者很懒,什么都没留下…
展开
-
从指数分布族到广义线性模型再到逻辑回归的sigmoid
指数分布族须满足这个公式形式: 其中 叫自然参数,一般是一个实数, 叫做充分统计量,统计学里的知识,一般为等于。 当 不同时,分布就不同。 指数分布族包括很多(高斯分布,伯努利分布,泊松分布,伽马分布,指数分布等等) 下面证明伯努利分布属于指数分布族(对应逻辑斯蒂回归): 伯努利分布: 是等于1的概率...原创 2018-03-17 17:33:55 · 3580 阅读 · 0 评论 -
牛顿法,拟牛顿法
牛顿法:二阶泰勒展开式: f(x)=f(xk)+f′(xk)(x−xk)+12f′′(xk)(x−xk)2 f(x)=f(xk)+f′(xk)(x−xk)+12f″(xk)(x−xk)2\ f(x) = f(x_k)+f'(x_k)(x-x_k)+\frac{1}{2}f''(x_k)(x-x_k)^2 若 x x\ x 为向量:  ...原创 2018-03-18 19:45:50 · 420 阅读 · 0 评论 -
广告点击率贝叶斯平滑
两个分布:1.所有广告的ctr服从beta分布 2.对于某一个广告,给定展示数和自身ctr的条件下,点击次数点击服从伯努利分布通过极大似然估计,对beta分布中的参数进行梯度上升法求解,得到这两个参数参考:https://blog.csdn.net/mytestmy/article/details/19088519 Click-Through Rate...原创 2018-03-26 13:38:30 · 578 阅读 · 0 评论 -
lightgbm学习(持续更新)
做比赛用了lightgbm,有很多需要注意的地方。在此把重点记下当做笔记(纯写算法介绍太耗时了)直接上重点:1.lightgbm对类别特征的处理是对类别特征进行分成两个区,这样k个特征值就有2^k-1种分区,而不是进行的Onehot,之前看一篇博客好像说Cateboost是进行onehot,但是对值少的类别划为一个类别,就相当于模型帮人做了特征工程,具体没仔细去看。2.lightgbm用到goss...原创 2018-04-06 14:20:07 · 1307 阅读 · 0 评论