机器学习基石-Types of Learning

最新推荐文章于 2017-12-18 11:50:14 发布
最新推荐文章于 2017-12-18 11:50:14 发布
阅读量309 收藏
点赞数
分类专栏： 机器学习 台大林轩田机器学习课程笔记 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yc1203968305/article/details/78554050
版权

课程大纲

这里写图片描述

Learning with Different Output Space Y

按照输出空间的类型，我们可以把机器学习问题分为四类

  • binary classification：y={−1.+1},比如垃圾邮件分类问题

    • multiclass classification： y={1,2,...K} ，比如硬币识别问题

    • regression： y=R ，比如房价预测问题

    • structured learning： y=structured ，比如序列标注问题

    Learning with Different Data Label yn

    按照数据标签的完备程度，可以把机器学习问题分为四类

    • supervised：所有的数据都有标签

    • unsupervised：所有的数据都没有标签

    • semi-supervised：只有部分数据有标签

    • reinforcement：通过奖励和惩罚来表示好坏

    Learning with Different Protocol

    按照与计算机的交互数据的方式，将机器学习问题分为三类

    • batch：一次把所有的数据喂给机器

    • online：每次为一条数据给机器，不断地喂

    • active:：机器主动找我们要数据

    Learning with Different Input Space

    按照不同的输入空间，将机器学习问题分为三类

    • concrete：数据特征是一些比较具体的特征，有物理意义，比如说用户的个人信息

    • raw：数据特征有简单的物理意义，比如说图片的像素

    • abstract：数据特征几乎没有物理意义，比如说用户的id

遇见更好的自己
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
林轩田《机器学习基石》课程笔记3 -- Types of Learning1
08-03
在机器学习领域，根据模型的输出空间和训练数据的标签情况，可以将学习任务分为不同的类型。本篇文章主要探讨了四种主要的学习类型：二元分类、多元分类、回归以及结构化学习，同时按照数据标签的存在与否，介绍了...
分类系列之感知器学习算法PLA 和 口袋算法Pocket Algorithm
丁磊_ml的博客
07-25 5511
我们有一堆数据，默认他们是线性可分的。 定义f为这个数据分割线的最优解，但是我们不知道他的值。 我们仅有一个函数集H，这个函数一般是无穷大的。我们的目的就是从H中找出一条线g来尽可能的接近f。但是，我刚刚说了，H内的函数一般是无穷多的，我们不可能把H中的函数一 一 比较，得到最好的分割线g吧！！！不过伟大的科学家就说，我们的目的不就是找出一条线把这些数据都分开吗！！那我随机的初始化一条分割线 g
LFD-机器学习基石-林轩田
12-18
课程全称《机器学习基石》。感兴趣的同学们可以下载观看，内附教学视频及相关课件。还等什么，机器学习的大门已经向你打开了。PS：秉承开源的根本思想，如果触犯相关方利益，请及时通知，无意冒犯个人知识产权。
机器学习教程 -- Transfer Learning
01-30
Transfer Learning Transfer Learning - Overview Model Fine-tuning Conservative Training Layer Transfer Layer Transfer - Image Multitask Learning Multilingual Speech Recognition
机器学习 -- Semi-supervised Learning
01-30
Semi-supervised Learning Introduction Why semi-supervised learning helps? Semi-supervised Learning for Generative Model Low-density Separation Assumption Smoothness Assumption Better Representation
加法模型与前向分布算法
格物致知
10-07 7462
加法模型和前向分布算法     如下图所示的便是一个加法模型     其中，称为基函数，称为基函数的参数，称为基函数的系数。     在给定训练数据及损失函数的条件下，学习加法模型成为经验风险极小化问题，即损失函数极小化问题：     随后，该问题可以作如此简化：从前向后，每一步只学习一个基函数及其系数，逐步逼近上式，即：每步只优
机器学习基石-The VC Dimension
格物致知
11-19 5692
大纲Definition of VC dimension1 回顾首先，我们知道如果一个假设空间H有break point k，那么它的成长函数是有界的，它的上界称为Bound function。根据数学归纳法，Bound function也是有界的，且上界为Nk−1。从下面的表格可以看出，O(Nk−1)O(N^{k-1})比B(N,k)松弛很多。 根据上节课的推导，VC Bound可以转化为 如果
原始GBDT推导
格物致知
10-16 3204
GBDT采用的是数值优化的思维, 用的最速下降法去求解Loss Function的最优解, 其中用CART决策树去拟合负梯度, 用牛顿法求步长. XGboost用的解析的思维, 对Loss Function展开到二阶近似, 求得解析解, 用解析解作为Gain来建立决策树, 使得Loss Function最优.
机器学习技法-Kernel Logistic Regression
格物致知
12-07 1711
大纲上节课我们主要介绍了Soft-Margin SVM，即如果允许有分类错误的点存在，那么在原来的Hard-Margin SVM中添加新的惩罚因子C，修正原来的公式，得到新的αn\alpha_n值。最终的到的αn\alpha_n有个上界，上界就是C。Soft-Margin SVM权衡了large-margin和error point之前的关系，目的是在尽可能犯更少错误的前提下，得到最大分类边界。本节
DBDT 基于不同损失函数的算法推导细节
格物致知
10-22 1667
Freidman提出了梯度提升算法，该方法是利用最速下降法的近似方法，其关键是利用损失函数的负梯度在当前模型的值 −[∂L(y,f(xi))∂f(xi)]f(x)=fm−1(x)-[{\partial L(y,f(x_i)) \over \partial f(x_i)}]_{f(x) = f_{m-1}(x)}作为回归问题算法中的残差的近似值，拟合一个回归模型。其算法流程如下： 1. F0(x)
Xgboost中对于二分类和多分类的Gradient和Hessian的求法
格物致知
10-23 1521
logistic 损失求导首先logistic损失定义为 L(y,p)=−(ylog(p)+(1−y)log(1−p))L(y,p)=-(ylog(p)+(1-y)log(1-p)) 其中p=11+e−F(x)p=\frac{1}{1+e^{-F(x)}} ∂L∂F(x)=−(y1pp(1−p)+(1−y)11−pp(1−p))=−(y(1−p)+(1−y)p)=p−y\begin{align
偏差-方差分解
格物致知
06-19 1431
偏差-方差分解
机器学习技法-Decision Tree
格物致知
12-15 1185
大纲上节课我们主要介绍了Adaptive Boosting。AdaBoost演算法通过调整每笔资料的权重，得到不同的hypotheses，然后将不同的hypothesis乘以不同的系数α进行线性组合。这种演算法的优点是，即使底层的演算法g不是特别好（只要比乱选好点），经过多次迭代后算法模型会越来越好，起到了boost提升的效果。本节课将在此基础上介绍一种新的aggregation算法：决策树（Dec
机器学习技法-Gradient Boosted Decision Tree
格物致知
12-18 1163
大纲上节课我们主要介绍了Random Forest算法模型。Random Forest就是通过bagging的方式将许多不同的decision tree组合起来。除此之外，在decision tree中加入了各种随机性和多样性，比如不同特征的线性组合等。RF还可以使用OOB样本进行self-validation，而且可以通过permutation test进行feature selection。本节
机器学习技法-Linear Support Vector Machine
格物致知
11-15 1082
大纲Large-Margin Separating Hyperplane由于PLA算法的随机性，可能得到多条分割超平面，那么那条是最好的呢？ 直觉告诉我们，最右边的是最好的。为什么呢？ 先给个简单解释，一般情况下，训练样本外的测量数据应该分布在训练样本附近，但与训练样本的位置有一些偏差。若要保证对未知的测量数据也能进行正确分类，最好让分类直线距离正类负类的点都有一定的距离。这样能让每个样本点附近
机器学习技法-Adaptive Boosting
格物致知
12-15 1051
大纲上节课我们主要开始介绍Aggregation Models，目的是将不同的hypothesis得到的gtg_t集合起来，利用集体智慧得到更好的预测模型G。首先我们介绍了Blending，Blending是将已存在的所有gtg_t结合起来，可以是uniformly，linearly，或者non-linearly组合形式。然后，我们讨论了在没有那么多gt的情况下，使用bootstrap方式，从已有数
机器学习技法-Kernel Support Vector Machine
格物致知
12-04 920
大纲 上节课我们主要介绍了SVM的对偶形式，即dual SVM。Dual SVM也是一个二次规划问题，可以用QP来进行求解。之所以要推导SVM的对偶形式是因为：首先，它展示了SVM的几何意义；然后，从计算上，求解过程“好像”与所在维度d̂ \hat{d}无关，规避了d̂ \hat{d} 很大时难以求解的情况。但是，上节课的最后，我们也提到dual SVM的计算过程其实跟d̂ \hat{d} 还是有
决策树详解（二）
格物致知
09-23 820
1 CART算法 CART 是在给定输入X条件下输出随机变量Y的条件概率分布的学习方法。CART二分每个特征（包括标签特征以及连续特征），经过最优二分特征及其最优二分特征值的选择、切分，二叉树生成，剪枝来实现CART算法。对于回归CART树选择误差平方和准则、对于分类CART树选择基尼系数准则进行特征选择，并递归调用构建二叉树过程生成CART树。  决策树的经典算法包括ID3、C4.5
理解机器学习基石：理论、应用与提升
"机器学习基石电子版笔记是一门由国立台湾大学的林轩田教授在Coursera平台上开设的在线课程，专为那些想要深入理解机器学习理论和方法的学生设计。课程分为8周，主要关注理论和概念，而非具体的算法细节。课程结构被...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值