- 博客(6)
- 收藏
- 关注
RSS订阅原创 正交匹配追踪法(OMP)
正交匹配追踪法(OMP)模型OrthogonalMatchingPursuit (正交匹配追踪法)使用了 OMP 算法近似拟合了一个带l0l0l_0范数限制的线性模型。当提供参数n_nonzero_coefs时，优化目标为： minw||y−Xw||22s.t.||w||0≤nnonzero_coefsminw||y−Xw||22s.t.||w||0≤nnonzero_coefs\...
2018-05-23 20:02:01
3082
原创 logistic 回归
logistic 回归如何用线性模型做分类任务？只需要在广义线性模型 (1) 中找一个单调可微函数将线性回归的值与分类任务的真实标签 yyy 联系起来。 y=g(wTx+b)(1)(1)y=g(wTx+b)y=g(w^Tx+b) \tag{1} 其中，g(⋅)g(⋅)g(\cdot) 称为 link function考虑二分类任务，其输出标签 y∈{0,1}y∈{0,1}y\i...
2018-05-22 23:15:40
293
1
原创 group lasso 块坐标下降
group lasso 块坐标下降优化目标： minx12||Ax−b||22+λ∑j=1J||xj||2minx12||Ax−b||22+λ∑j=1J||xj||2\min_x \frac{1}{2}||Ax-b||_2^2+\lambda\sum_{j=1}^J||x_j||_2 其中A={A1,…,AJ}∈Rn×m,x={x1,…,xJ}∈RmA={A1,…,AJ}∈Rn×m,x...
2018-05-16 23:42:52
3185
2
原创 弹性网络 ElasticNet 坐标下降算法
弹性网络模型弹性网络是一种使用 L1， L2 范数作为先验正则项训练的线性回归模型。 这种组合允许学习到一个只有少量参数是非零稀疏的模型，就像 Lasso 一样，但是它仍然保持一些像 Ridge 的正则性质。我们可利用 l1_ratio 参数控制 L1 和 L2 的凸组合。弹性网络在很多特征互相联系的情况下是非常有用的。Lasso 很可能只随机考虑这些特征中的一个，而弹性网络更倾向于选...
2018-05-14 21:27:48
3411
1
原创 线性回归 岭回归 lasso 详细介绍
线性回归已知nnn个样本{(xi,yi)}ni=1{(xi,yi)}i=1n\{(x_i,y_i)\}^n_{i=1}，其中xi∈Rd,yi∈Rxi∈Rd,yi∈Rx_i\in \mathbb{R}^d,y_i\in \mathbb{R}回归问题学习实值函数y=f(x)y=f(x)y=f(x)，其中f:Rd→Rf:Rd→Rf:\mathbb{R}^d\to \mathbb{R}最小...
2018-05-11 22:39:15
610
原创 Stochastic average gradient(SAG) 算法
Stochastic average gradient(SAG)介绍：在SGD中，由于收敛的速度太慢，所以后面就有人提出SAG基于梯度下降的算法。SAG中的S是随机（Stochastic），A是平均（average），G是梯度（gradient）的意思。可以看到SAG是一种加速版本的SGD。SAG其实每次计算时，利用了两个梯度的值，一个是前一次迭代的梯度值，另一个是新的梯度值。当然...
2018-05-11 21:15:00
4071
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人