机器学习笔记整合
机器学习相关算法介绍
栐木
这个作者很懒,什么都没留下…
展开
-
目标函数的由来
风险函数损失函数风险函数经验风险函数结构风险函数目标函数损失函数(loss function)是定义在单个样本上的,是指一个样本的误差(估量模型的预测值f(x)与真实值Y的不一致程度)。与代价函数(cost function)是同一个东西。损失函数越小说明拟合结果越符合数据集的情况风险函数经验风险函数损失函数的期望(前n个损失函数之和/N),这是由于我们输入输出的(X,Y)遵循一个联合分布,但是这个联合分布是未知的,所以无法计算。但是我们是有历史数据的,就是我们的训练集,f(X)关于训练集的平均原创 2020-06-22 23:30:01 · 369 阅读 · 0 评论 -
数据相似性度量方法
原创 2020-06-18 23:23:34 · 210 阅读 · 0 评论 -
机器学习性能度量
模型评估指标回归评估指标平均绝对误差(mean absolute error, MAE)平均平方误差(mean squared error, MSE)均方根误差(root mean square error,RMSE)分类评估指标准确率(accuracy)精度(precision)召回率(recall)F-ScoreROC曲线(receiver operating characteristic curve)AUC(Area Under Curve)混淆矩阵(Confusion Matrix)聚类评估指标外部原创 2020-06-17 23:02:10 · 295 阅读 · 0 评论 -
机器学习的奥卡姆剃刀原理
机器学习的奥卡姆剃刀原理定义机器学习中的运用参考定义奥卡姆剃刀定律(Occam’s Razor, Ockham’s Razor)又称“奥康的剃刀”,它是由14世纪英格兰的逻辑学家、圣方济各会修士奥卡姆的威廉(William of Occam,约1285年至1349年)提出。这个原理称为“如无必要,勿增实体”,即“简单有效原理”。正如他在《箴言书注》2卷15题说“切勿浪费较多东西去做,用较少的东西,同样可以做好的事情。”机器学习中的运用奥卡姆剃刀定律也是机器学习选择算法时可参照的标准之一。其含义是:在原创 2020-06-17 21:28:16 · 4749 阅读 · 0 评论 -
模型的过拟合与欠拟合
过拟合与欠拟合定义过拟合(High Viarance)欠拟合(High Bias)误差(Error)产生原因解决方案防止欠拟合防止过拟合正则化L0范数L1范数L2范数讨论参考定义首先要确定的两个概念是Underfit(欠拟合)和Overfit(过拟合),也被称为high bias和high viarance。在表征线性回归模型的下面三张图中,左图使用一条直线来做预测模型,很明显无论如何调整起始点和斜率,该直线都不可能很好的拟合给定的五个训练样本,更不要说给出的新数据;右图使用了高阶的多项式,过于完美的拟原创 2020-06-16 22:52:07 · 916 阅读 · 0 评论