2016年08月_alex_陈

原创 8.正交匹配跟踪 Orthogonal Matching Pursuit (OMP)s

OrthogonalMatchingPursuit and orthogonal_mp 实现了一个用来逼近在非零系数的个数上加约束的线性模型的拟合的OMP算法(比如L0 pseudo-norm)和 Least Angle Regression最小角回归一样，作为一个前向特征选择方法，OMP可以用一个固定非零的数来逼近最优的解向量:或者说正交匹配算法可以针对一个特殊的误差而不是

2016-08-26 16:19:42 3118 1

原创 7.LARS lasso 模型

LassoLars 是一个使用LARS算法实现的lasso模型。和基于坐标下降的实现不同的是，它产生的是精确的解，和一个函数标准系数一样是精确线性的。1.1 数学描述这个算法和逐步回归很相似，但是除了在每一步包含变量之外，估计的参数沿着每一个对应的残差的对角方向增长。（待校正）。并不是给出一个向量结果，而是在LARS的解中包含了一个曲线，用来表示每个参数向量的L1-norm 值的

2016-08-26 12:00:55 4128

原创 6.最小角回归（Least Angle Regression）

最小角回归是针对高维数据的回归算法。least angle regression 的优势如下：当p>>n时计算是非常高效的。（比如当维数远大于点数）它和前向选择计算速度差不多，并且和最小二乘法复杂度一样。生成一个完整的分段线性解的路径，这交叉验证和之后的参数调整非常有效。如果两个变量的相应值总是相同的，那么他们的系数应该有近似相同的增长速率。因此 LARS的增长总是稳定的LAR

2016-08-26 10:19:59 2314

原创 5.Multil-task lasso(多任务lasso回归分析)

MultiTaskLasso 是一种估计多元回归系数的线性模型， y 是一个2D数组，形式为(n_samples,n_tasks). 其限制条件是和其他回归问题一样，是选择的特征，同样称为 tasks.接下来的图示比较了通过使用一个简单的Lasso或者MultiTaskLasso得到的W中非零的位置。 Lasso 估计量分散着非零值而MultiTaskLasso所有的列全部是非零的。数

2016-08-25 17:25:21 9962 2

原创 4.弹性网络（ Elastic Net）

ElasticNet 是一种使用L1和L2先验作为正则化矩阵的线性回归模型.这种组合用于只有很少的权重非零的稀疏模型，比如:class:Lasso, 但是又能保持:class:Ridge 的正则化属性.我们可以使用 l1_ratio 参数来调节L1和L2的凸组合(一类特殊的线性组合)。当多个特征和另一个特征相关的时候弹性网络非常有用。Lasso 倾向于随机选择其中一个，而弹性网络更倾向于选择两

2016-08-25 16:45:51 71353 9

原创 3.Lasso线性模型

Lasso 是一种估计稀疏线性模型的方法.由于它倾向具有少量参数值的情况，对于给定解决方案是相关情况下，有效的减少了变量数量。因此，Lasso及其变种是压缩感知(压缩采样)的基础。在约束条件下，它可以回复一组非零精确的权重系数（参考下文中的 CompressIve sensing(压缩感知：重建医学图像通过lasso L1））。用数学形式表达，Lasso 包含一个使用先验作为正则化因子的

2016-08-25 15:44:42 16873 3

原创 2.Ridge Regression 岭回归

Ridge 岭回归通过对回归稀疏增加罚项来解决普通最小二乘法的一些问题.岭回归系数通过最小化带罚项的残差平方和上述公式中, 是控制模型复杂度的因子(可看做收缩率的大小) : 越大，收缩率越大，那么系数对于共线性的鲁棒性更强和其他线性模型一样，Ridge 调用 fit 方法，参数为X,y,并且将线性模型拟合的系数存到成员变量 coef_ 中。

2016-08-24 17:32:36 1018

原创 1.广义线性模型

以下是回归相关的一系列方法，目标值y是输入变量x的线性组合。用数学表达:\hat{y}是预测值

2016-08-24 13:59:29 734

原创 matplotlib 绘图-barChart

matplotlib 是python最著名的绘图库，它提供了一整套和matlab相似的命令API，十分适合交互式地进行制图。而且也可以方便地将它作为绘图控件，嵌入GUI应用程序中。它的文档相当完备，并且 Gallery页面中有上百幅缩略图，打开之后都有源程序。因此如果你需要绘制某种类型的图，只需要在这个页面中浏览/复制/粘贴一下，基本上都能搞定。现在我们从最简单的例子开始讲解，import

2016-08-23 21:53:08 3808

原创 Mercer定理

为了说明Mercer定理会涉及到很多的矩阵论相关的知识，再此需要提前简要说明，1.酉矩阵：定义：若一行列的复数矩阵满足：其中，为的共轭转置，为阶单位矩阵，则称为酉矩阵。性质和应用设有矩阵

2016-08-23 11:54:57 7983

alex的博客