![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习基石学习笔记
Ricarvy Li
这个作者很懒,什么都没留下…
展开
-
机器学习基石1-5 ML & other fields
这一节课主要介绍了ML和一些其他相关领域的相似处以及区别。(1)ML & Data Mining从定义上看:ML:通过学习的方式,计算出一个与目标函数f相似的假设g;DM:从大量资料中找到有用的信息;相似处:如果g即为“有用的信息”,则ML=DM;如果g与“有用的信息”相关,则DM可以用于协助ML相异处:ML可以通过一些小规模的数据实现,而DM通常要用到原创 2017-04-19 09:51:37 · 440 阅读 · 0 评论 -
机器学习基石 4-1 Learning is impossible
在第三节中关注了ML方法的分类,在本节中,HT Lin介绍了一些用Learning做不到的事情。Example:A Learning Puzzle在上图中,上边一排的3*3方阵所示的情况归于y=-1类,下边一排的情况归于y=+1类,要做的事情是从上面两排方阵的黑白分列情况中归纳出一个规则,并用这个规则来判断下边的排列情况中g(x)的输出结果为+1还是-1。原创 2017-04-26 14:39:48 · 423 阅读 · 0 评论 -
机器学习基石 3-4 Learning with different input space
前三节(3-1、3-2和3-3)分别从output space、data label和protocol三个方面对ML Algorithm进行了划分。本节从input space的角度来对ML Algorithm进行区分。最简单的情况:concrete feature对于一个给定的input data set,最简单的情况就是能够从给定的特征中提取出需要学习的信息。如原创 2017-04-25 17:46:55 · 650 阅读 · 0 评论 -
机器学习基石 3-3 Learning with different protocol
之前的两节内容分别从output space和data label两个方面对ML Algorithm进行了分类,本节从与机器进行protocol的过程对ML Algorithm进行划分。首先解释一下什么叫protocol。protocol定义了一种用户与机器进行沟通的方法。举一个简单的例子,我们可以简单地把work的过程比作上课,用户相当于老师,机器相当于学生。上课方式的不同就是pro原创 2017-04-25 16:15:51 · 505 阅读 · 2 评论 -
机器学习基石 3-2 Learning with different data label
在上节中,我们从output space的不同将ML的过程简单地分为Classification和Regression两个大类,其中Classification的输出结果为固定的值,其输出空间可以表示为能够写出所有元素的集合,而Regression的解空间只能由描述法界定(解集为连续值)。在本节中,从另一个不同的角度对ML方法进行分类,即从data label的角度进行分类。简单来说,原创 2017-04-25 15:25:51 · 787 阅读 · 0 评论 -
机器学习基石 3-1 Learning with different output space
本节主要介绍了ML在解决一些基于基本的binary classification问题的问题上所使用的方法以及列举了一些这些问题所对应的例子。最基本的问题:binary classification简单的二元分类问题对应的应用例子主要有上一节提到的银行发卡问题,邮件分类问题等,该类问题解决过程中要求出的直线我们成为linear classifier(线性分类器)。原创 2017-04-25 10:52:17 · 428 阅读 · 0 评论 -
机器学习基石 2-* Summary
用大概五天时间基本完成了机器学习基石Lecture2部分的学习(中间有一段时间耽误了),总体来说感觉还是比较轻松的,整个Lecture2的知识点如下:2-1 介绍了ML过程中的一些基本符号,并且引入了一个银行发信用卡的例子,从这个例子出发引进了linear classifier的概念;2-2 介绍了PLA,PLA是一种能够从自身的错误中感知并改进自身的算法;2-3 从数原创 2017-04-25 10:11:18 · 374 阅读 · 0 评论 -
机器学习基石2-4 Non-Separable Data
上一节中从数学角度证明了PLA在Data是处于linear separable的状态下在运行一段时间之后是一定能够停下来的。本节介绍了一种在不确定data是否处于linear separable的状态下的一种PLA的变体方法。从上节知道,PLA能够halt表现在以下两个方面:1、wf和wt的内积越来越大,且增长速度很快(说明向量wf和向量wt越来越接近);2、wt的增长很缓慢(说明wt原创 2017-04-25 09:39:56 · 637 阅读 · 0 评论 -
机器学习基石2-3 Guarantee of PLA
本节主要对上节提出的PLA能否always halt的问题进行了证明。待证问题:PLA能否always halt?如果能,有没有一定的条件?如下图:很明显,如果点分布如第一张图所示的,那么就可以用一条线将它们分来,第二和第三张图中的情况则不能。我们称第一张图中点的分布情况成为linear separable(线性可分)。简而言之,当data处于一种线性可原创 2017-04-24 10:23:00 · 659 阅读 · 0 评论 -
机器学习基石2-2 PLA(Perceptron Learning Algorithm)
本节主要针对上节讲的一种简单的h(x)的形式所进行较为深入的讲解。回顾上节,h(x)的形式如下:h(x)表现为一个n+1维的向量W和向量X的内积。首先搞清楚一个概念,并不是所有的PLA都是线性的,有各种各样的classifier,如下图:有些情况时linear classifier解决不了的,如上图中的后两种情况。问题:如何选取一个最接近f的g?原创 2017-04-20 17:12:59 · 608 阅读 · 0 评论 -
机器学习基石2-1 Perceptron Hypothesis Set
本节内容主要讲了ML的最基础的工作流程,HT Lin引用了一个非常简单易懂的银行发信用卡的例子讲述了ML是如何作用于Data Set以及获取结果的。(1)基本缩写字母表达的涵义:A:机器学习算法D:Data Set,即数据集H:Hypothesis Set,即假设集(注意,不是单个的假设!)g:最佳假设,即最接近规则f的假设2.银行信用卡发卡例子原创 2017-04-20 16:11:56 · 2279 阅读 · 0 评论 -
机器学习基石 4-2 Probability to the Rescue
上节介绍了机器学习在现实情况中所不能够解决的一些情况,本节主要论述了learning方法在一定的情况下能够对outline of data set的data进行预测的可行性。问题:使用ML方法得出的g能否在out of data set的data上表现与f一致?举例:罐子里的弹珠想象一个有很多很多个弹珠的罐子,里边的弹珠有绿色的和橙色的,我们的任务是要统计橙色弹珠在所有原创 2017-04-26 15:03:06 · 702 阅读 · 0 评论