![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
楚琪仔
学习
展开
-
Feasibility of Learning & Training versus Test(林轩田-机器学习)
整体思路:1.想办法找出training set 训练出来的hypothesis 对test set的作用效果。2.通过hoeffding不等式,把通过训练集找出适合测试集且效果好hypothesis。 做数学题或者考公务员的时候,经常会有寻找规律的题目。那我们做一下下面这道题:现实生活中,这类找规律的题不一定会有正确答案。你可以说g(x)=1/-1。 问题:那么我们怎样保证通过训练trainin...原创 2017-11-02 14:53:41 · 220 阅读 · 0 评论 -
L1、L2+回归模型(lasso、ridge、elasticnet)
嵌入式选择有没有可能将特征选择过程与学习器训练过程融为一体。以前我们设计学习器是希望均方误差达到最小值----min E(x;w)但是如果我们希望把不需要的特征变为0呢?我们可以把但是这是一个NP-hard问题。(NP-HARD问题可以理解为容易算出任何一种情况的结果值,但是要计算所有结果值然后统计出最小最大值会很难。) 所以怎么办呢?两个办法,办法一: ...原创 2018-08-02 16:53:19 · 4775 阅读 · 0 评论 -
回顾及总结--评价指标(分类指标)。
对学习器的泛化性能进行评估,不仅仅需要有效可行的实验估计方法,还需要有衡量模型泛华能力的评价标准,这就是性能度量。我们通常会根据不同的业务选出适合的业务指标。评价指标大概有1、回归的有:RMSE(平方根误差)、MAE(平均绝对误差)、MSE(平均平方误差)、Coefficient of determination (决定系数)。2、分类的有:精度、召回率、精确率、F值、ROC-AUC ...原创 2018-07-23 09:38:09 · 24901 阅读 · 2 评论 -
特征选择(过滤式、包裹式)
首先先说说特征选择。特征选择包含三大类:过滤式、包裹式、嵌入式。 过滤式(filter)它是先设计一个过滤方法进行特征选择,再去训练学习器。而这个过滤方式是设计一个“相关统计量”,去对特征进行计算,最后设定一个阈值去进行选择。 相关统计量计算:对于每个样本xi,他都会做以下事情。找出同类中,最邻近的样本x1;在异类中,找出最邻近的x2。如果xi与x1更近,说...原创 2018-07-30 14:37:58 · 9995 阅读 · 0 评论 -
线性模型(二)广义线性模型
在线性回归中,我们是假设目标Y是符合正态分布的。那么如果Y不符合正态分布呢?那我们假设Y符合一个更加通用的指数族分布。借助指数族分布,对响应变量Y的描述将不再局限于正态分布,称观测 来自指数族分布,如果其概率密度函数可以表达为如下形式: 建立指数分布族:伯努利分布(逻辑回归)高斯分布(正态分布)泊松分布 用广义线性模型进行建模:第一步明...原创 2018-07-26 16:49:36 · 1675 阅读 · 0 评论 -
线性回归模型一(线性回归)
线性回归模型 先假设只有一个特征的时候。我们的目的就是能找出最好的w和b是预测出来的y尽可能接近真实的y。预测函数:F(x) = w*x+b (其中w是权重,x是特征,b是偏差)误差方程:求导方程及其过程:对于凸函数求解,就是导数为0时最优。 如果是多元,也就是多个特征呢? 上式在满秩的时候成立。 ...原创 2018-07-25 15:19:30 · 673 阅读 · 0 评论 -
回顾及总结--评价指标(回归指标)
对学习器的泛化性能进行评估,不仅仅需要有效可行的实验估计方法,还需要有衡量模型泛华能力的评价标准,这就是性能度量。我们通常会根据不同的业务选出适合的业务指标。评价指标大概有1、回归的有:RMSE(平方根误差)、MAE(平均绝对误差)、MSE(平均平方误差)、Coefficient of determination (决定系数)。2、分类的有:精确率、召回率、准确率、F值、ROC-AUC...原创 2018-07-19 11:28:18 · 13413 阅读 · 2 评论 -
自主学习(active learning)
我是一名小小白~~~一边学习一边总结~~~一边更新~~~是什么?自主学习,可以理解为询问式学习。通常监督学习都喜欢丢一大堆的数据,然后通过对所有数据进行处理得出结果。往往数据量越大,得到的结果可能会相对好一点。而自主学习的特点在于他可以自行选择有用数据去进行学习。这样我们可以用更少的训练样本去训练出更好的分类器。 注:监督学习是把样本都标注好;非监督学习是没有把样本标注;而自主学习呢,他是把一小部...原创 2017-09-25 16:29:03 · 8315 阅读 · 0 评论 -
PLA总结(林轩田)
原创 2017-10-27 16:30:08 · 401 阅读 · 0 评论 -
决策树(ID3、C4.5、CART)
决策树的思路:首先决策树是由结点和有向边组成的。结点分为:内部结点和叶结点。每个内部结点对应一个特征,每个叶结点对应就是:分类--》一个类;回归--》一个值。决策树,从根结点开始,进行一个if-then判断。因为根据给定的训练集可以训练出很多个不同的决策树,因此从很多决策树中选出最优是一个NP-HARD问题。决策树学习是一个递归过程,选取一个次优解。我们希望最后叶结...原创 2018-08-15 09:30:59 · 12055 阅读 · 0 评论