qq_21484787的博客

线性模型线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数，既可以用于分类 也可以用于回归。从数学角度讲，回归就是用超平面做拟合，分类就是用超平面做分割。谈及线性模型，其实我们很早就已经与它打过交道，还记得高中数学必修3课本中那个顽皮的“最小二乘法”吗？这就是线性模型的经典算法之一：根据给定的（x，y）点对，求出一条与这些点拟合效果最好的直线y=ax+b，之前我们利用下面的公式便可以计算出拟合直线的系数a,b（3.1中给出了具体的计算过程），从而对于一个新的x，可以预测它

ROC 和 AUCAUC是一种模型分类指标，且仅仅是二分类模型的评价指标。AUC是Area Under Curve的简称，那么Curve就是ROC（Receiver Operating Characteristic），翻译为"接受者操作特性曲线"。ROC曲线由两个变量TPR和FPR组成，这个组合以FPR对TPR，即是以代价(costs)对收益(benefits)。x轴为假阳性率（FPR）：在所有的负样本中，分类器预测错误的比例FPR=FPFP+TNFPR = \frac {FP}{FP+TN}

树模型详解决策树决策树模型① 树模型不用做scaling② 树模型不太需要做离散化③ 用Xgboost等工具库，是不需要做缺失值填充④ 树模型是非线性模型，有非线性的表达能力决策树基于“树”结构进行决策：每个“内部结点”对应于某个属性每个分支对应于该属性的某个取值每个“叶结点”对应于一个“预测结果”学习过程: 通过对训练样本的分析来确定“划分属性”(即内部结点所对应的属性)预测过程: 将测试示例从根结点开始，沿着划分属性所构成的“判定测试序列”下行，直到叶结点现想象一位捉急的母

线性模型线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数，既可以用于分类 也可以用于回归。从数学角度讲，回归就是用超平面做拟合，分类就是用超平面做分割。谈及线性模型，其实我们很早就已经与它打过交道，还记得高中数学必修3课本中那个顽皮的“最小二乘法”吗？这就是线性模型的经典算法之一：根据给定的（x，y）点对，求出一条与这些点拟合效果最好的直线y=ax+b，之前我们利用下面的公式便可以计算出拟合直线的系数a,b（3.1中给出了具体的计算过程），从而对于一个新的x，可以预测它

ROC 和 AUCAUC是一种模型分类指标，且仅仅是二分类模型的评价指标。AUC是Area Under Curve的简称，那么Curve就是ROC（Receiver Operating Characteristic），翻译为"接受者操作特性曲线"。ROC曲线由两个变量TPR和FPR组成，这个组合以FPR对TPR，即是以代价(costs)对收益(benefits)。x轴为假阳性率（FPR）：在所有的负样本中，分类器预测错误的比例FPR=FPFP+TNFPR = \frac {FP}{FP+TN}

在上一节笔记中，我们解决了评估学习器泛化性能的方法，即用测试集的“测试误差”作为“泛化误差”的近似，那如何计算“测试误差”呢？这就是性能度量，例如：均方差，错误率等，即“测试误差”的一个评价标准。有了评估方法和性能度量，就可以计算出学习器的“测试误差”，优化目标就是使得测试误差最小化。训练完成后，如何对两个学习器的性能度量结果做比较呢？这就是比较检验。最后偏差与方差是解释学习器泛化性能的一种重要工具。性能度量性能度量（performance measure）是衡量模型泛化能力的评价标准，在对比不同模型的

机器学习基本概念统计学习概述统计学习的方法是基于数据构建统计模型，即已知数据，反推生成数据的模型，从而对数据进行预测与分析。根据训练数据是否有标记信息将学习任务分为：监督学习和无监督学习。分类和回归都是监督学习的范畴。无监督学习常见的有聚类和关联规则。监督学习，这种情况下统计学习的方法可以概括如下：从给定的训练数据出发，假设数据是独立同分布产生的；并 且假设要学习的模型属于某个函数的集合，称为假设空间（hypothesis space）；应用某个 评价准则（evaluation criterion），

机器学习基本概念统计学习概述统计学习的方法是基于数据构建统计模型，即已知数据，反推生成数据的模型，从而对数据进行预测与分析。根据训练数据是否有标记信息将学习任务分为：监督学习和无监督学习。分类和回归都是监督学习的范畴。无监督学习常见的有聚类和关联规则。监督学习，这种情况下统计学习的方法可以概括如下：从给定的训练数据出发，假设数据是独立同分布产生的；并 且假设要学习的模型属于某个函数的集合，称为假设空间（hypothesis space）；应用某个 评价准则（evaluation criterion），