机器学习算法——回归
文章平均质量分 88
Nicole_Liang
这个作者很懒,什么都没留下…
展开
-
四、回归——LinearRegression
一、官方文档class sklearn.linear_model.LinearRegression(fit_intercept=True, normalize=False, copy_X=True, n_jobs=1)1.参数:Ordinary least squares Linear Regression.(普通最小二乘线性回归)Parameters: fit_in...原创 2018-06-14 15:29:13 · 1062 阅读 · 0 评论 -
八、回归——XGBoost 与 Boosted Tree
作者:陈天奇,毕业于上海交通大学ACM班,现就读于华盛顿大学,从事大规模机器学习研究。注解:truth4sex 编者按:本文是对开源xgboost库理论层面的介绍,在陈天奇原文《梯度提升法和Boosted Tree》的基础上,做了如下注解:1)章节划分;2)注解和参考链接(以蓝色和红色字体标注)。备注:图片可点击查看清晰版。1. 前言应 @龙星镖局 兄邀请写这篇文章。作为一个非常有...转载 2018-09-14 09:55:00 · 819 阅读 · 0 评论 -
九、回归——XGBoost算法
一、Xgboost模型参数 Xgboost模型有3种类型的参数:通用参数、辅助参数和任务参数。通用参数确定上升过程中上升模型类型,常用树或线性模型;辅助参数取决于所选的上升模型;任务参数定义学习任务和相应的学习目标。Xgboost模型中,常用参数说明如下:(1)Xgboost:设置需要使用的上升模型。可选gbtree(树)或gblinear(线性函数),默认为gbt...转载 2018-06-21 10:40:36 · 14910 阅读 · 0 评论 -
六、回归——套索回归 (Lasso Regression)的基本应用
一、使用场合与岭回归类似,套索 (Least Absolute Shrinkage and Selection Operator) 也会对回归系数的绝对值添加一个罚值。此外,它能降低偏差并提高线性回归模型的精度。看看下面的等式:套索回归与岭回归有一点不同,它在惩罚部分使用的是绝对值,而不是平方值。这导致惩罚(即用以约束估计的绝对值之和)值使一些参数估计结果等于零。使用的惩罚值越大,估计...转载 2018-06-15 17:44:17 · 39713 阅读 · 0 评论 -
七、回归——回归预测的评价指标(附python代码)
目录一、常用的评价指标1、SSE(误差平方和)2、R-square(决定系数)3、Adjusted R-Square (校正决定系数)二、python中的sklearn.metrics(1)explained_variance_score(解释方差分)(2)Mean absolute error(平均绝对误差)(3)Mean squared error(均方误...原创 2018-06-15 14:36:47 · 36652 阅读 · 5 评论 -
三、回归——logistic回归二分类的python实现
一、训练算法:使用梯度上升找到最佳参数1.使用Logistic回归梯度上升优化算法 每次更新回归系数都要遍历整个数据集,该算法在处理100左右各样本时还可以,但是如果有数十亿样本或者成千上万的特征,那么该算法就太过于复杂了。import osfrom numpy import *os.chdir("E:\python learning\Machine Learnin...原创 2018-06-08 15:43:05 · 14114 阅读 · 4 评论 -
五、线性回归——岭回归Ridge Regression
一、岭回归引进的原因当数据之间存在多重共线性(自变量高度相关)时,就需要使用岭回归分析。在存在多重共线性时,尽管最小二乘法(OLS)测得的估计值不存在偏差,它们的方差也会很大,从而使得观测值与真实值相差甚远。岭回归通过给回归估计值添加一个偏差值,来降低标准误差。上面,我们看到了线性回归等式。还记得吗?它可以表示为:y=a+ b*x这个等式也有一个误差项。完整的等式是:y=a+b*...原创 2018-06-15 10:38:13 · 7960 阅读 · 0 评论 -
二、回归——logistic regression实现多类别分类的实现
一、one-Versus-All,OVA方法 一对所有(one-Versus-All,OVA),给定m个类,训练m个二元分类器(将选取任意一类,再将其它所有类看成是一类,构建一个两类分类器)。分类器j使类j的元组为正类,其余为负类,进行训练。为了对未知元组X进行分类,分类器作为一个组合分类器投票。例如,如果分类器j预测X为正类,则类j得到一票。如果他测得X为正类,则类j得到一票。如果测...原创 2018-06-08 13:03:52 · 9813 阅读 · 1 评论 -
一、回归——sklearn.linear_model.LogisticRegression官方文档
1.logistic回归logistic回归可以用于概率预测、分类等。2.sklearn.linear_model.LogisticRegression函数参数LogisticRegression(penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_wei...原创 2018-06-07 19:47:14 · 3812 阅读 · 0 评论 -
十、模型自变量选择方法
在本系列的最后一篇文章中,我们讨论了多元线性回归模型。费尔南多创建了一个模型,根据五个输入参数估算汽车价格。费尔南多的确获得了一个比较好的模型,然而,费尔南多想要获得最好的输入变量集本文将详细介绍模型选择方法一、概念模型选择方法的想法很直观。它回答了以下问题:如何为最佳模型选择正确的输入变量?如何定义最佳模型?最优模型是使数据与评估指标的最佳值相匹配的模型。...翻译 2018-07-18 19:51:22 · 14185 阅读 · 2 评论