![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
回归分析
搬砖小工053
这个作者很懒,什么都没留下…
展开
-
scikit-learn : LASSO
LASSO正则化LASSO( least absolute shrinkage and selection operator,最小绝对值收缩和选择算子)方法与岭回归和LARS(least angle regression,最小角回归)很类似。与岭回归类似,它也是通过增加惩罚函数来判断、消除特征间的共线性。与LARS相似的是它也可以用作参数选择,通常得出一个相关系数的稀疏向量。详细的数学推导可以参考这原创 2016-07-03 22:02:46 · 23456 阅读 · 0 评论 -
scikit-learn : 岭回归
背景岭回归可以弥补线性回归的不足,它引入了正则化参数来”缩减”相关系数,可以理解为对相关系数做选择。当数据集中存在共线性的时候,岭回归就会有用。让我们加载一个不满秩(low effective rank)数据集来比较岭回归和线性回归。秩是矩阵线性无关组的数量,满秩是指一个 m×nm×n 矩阵中行向量或列向量中线性无关组的数量等于 min(m,n)min(m,n)。数据构造模拟数据首先用make_re原创 2016-06-18 22:29:28 · 3356 阅读 · 0 评论 -
scikit-learn : 线性回归模型性能评估
背景在这个主题中,我们将介绍回归模型拟合数据的效果。每当用线性模型拟合数据做完之后,我们应该问的第一个问题就是“拟合的效果如何?”本主题将回答这个问题。线性模型我们还用上一主题里的lr对象和boston数据集。lr对象已经拟合过数据,现在有许多方法可以用。from sklearn import datasetsboston = datasets.load_boston()from sklearn原创 2016-06-18 21:34:21 · 9834 阅读 · 0 评论 -
scikit-learn : 线性回归
线性回归背景从线性回归(Linear regression)开始学习回归分析,线性回归是最早的也是最基本的模型——把数据拟合成一条直线。# 数据集使用scikit-learn里的数据集boston,boston数据集很适合用来演示线性回归。boston数据集包含了波士顿地区的房屋价格中位数。还有一些可能会影响房价的因素,比如犯罪率(crime rate)。## 加载数据from sklearn原创 2016-06-18 12:13:41 · 3501 阅读 · 1 评论 -
scikit-learn : 线性回归,多元回归,多项式回归
使用scikit-learn学习线性回归,多元回归,多项式回归原创 2016-06-17 23:36:53 · 54969 阅读 · 5 评论 -
scikit-learn : GBR (Gradient boosting regression)
背景梯度提升回归(Gradient boosting regression,GBR)是一种从它的错误中进行学习的技术。它本质上就是集思广益,集成一堆较差的学习算法进行学习。有两点需要注意: - 每个学习算法准备率都不高,但是它们集成起来可以获得很好的准确率。 - 这些学习算法依次应用,也就是说每个学习算法都是在前一个学习算法的错误中学习准备模拟数据我们还是用基本的回归数据来演示GBR:impor原创 2016-07-03 23:05:56 · 32640 阅读 · 3 评论 -
scikit-learn : Bayesian Ridge Regression
贝叶斯岭回归在岭回归主题中,我们介绍了岭回归优化的限制条件。我们还介绍了相关系数的先验概率分布的贝叶斯解释,将很大程度地影响着先验概率分布,先验概率分布通常均值是0。背景岭回归和LASSO用贝叶斯观点来解释,与频率优化观点解释相反。scikit-learn只实现了贝叶斯岭回归,我们将对比两种回归算法。准备模拟数据首先,我们创建一个回归数据集:from sklearn.datasets import原创 2016-07-03 22:58:12 · 9861 阅读 · 0 评论 -
scikit-learn : Logistic Regression
用线性方法处理分类问题——逻辑回归实际上线性模型也可以用于分类任务。方法是把一个线性模型拟合成某个类型的概率分布,然后用一个函数建立阈值来确定结果属于哪一类。背景这里用的函数是经典的逻辑函数。一个非常简单的函数:f(x)=11+e−tf(x)= \frac 1 {1+e^{-t}}它的图形如下图所示:import numpy as np%matplotlib inlineimport matpl原创 2016-07-03 22:44:15 · 3181 阅读 · 0 评论 -
scikit-learn : LARS
LARS正则化斯坦福大学的Bradley Efron, Trevor Hastie, Iain Johnstone和Robert Tibshirani发现了LARS(Least Angle Regression,最小角回归)它借用了威廉·吉尔伯特·斯特朗(William Gilbert Strang)介绍过的高斯消元法(Gaussian elimination)的灵感。背景LARS是一种回归手段,适原创 2016-07-03 22:21:14 · 2821 阅读 · 1 评论 -
scikit-learn : 优化岭回归参数alpha优化
背景:优化岭回归参数alpha当你使用岭回归模型进行建模时,需要考虑Ridge的alpha参数。例如,用OLS(普通最小二乘法)做回归也许可以显示两个变量之间的某些关系;但是,当alpha参数正则化之后,那些关系就会消失。做决策时,这些关系是否需要考虑就显得很重要了。模型参数优化用交叉检验(cross validation)完成。在后面的主题中,还会有更简便的方式实现这些,但是这里我们一步一步来实现原创 2016-06-18 22:49:06 · 21282 阅读 · 2 评论