- 博客(19)
- 收藏
- 关注
RSS订阅原创 林轩田-机器学习基石 课堂笔记（九） Linear Regression
1、Linear Regression Problem我们之前的课程讲到我们在二元分类情况下证明的VC bound是可以用在不同的error measure和有noise的情形，当然也包括我们regression。想象我们已经有了bound，那么演算法上我们应该怎么设计呢?回到我们之前讲的银行发信用卡的例子，如果今天银行不是要决定给不给用户发信用卡，而是要决定给某个用户多少的额度，那么这就不是一个...
2018-02-26 00:07:55
637
原创 林轩田-机器学习基石 课堂笔记（八） Noise and Error
1、Noise and Probabilistic Target 经过之前一段时间的学习，机器学习流程图如上，之前的数据集没有noise存在，那么我们现在考虑样本数据中存在噪音与错误的情况。 同样结合之前银行办理信用卡的例子，当银行错误的估计了是否为客户办理信用卡的情况时；当对应同一个客户产生了不同的输出时；当银行记录了错误的客户信息时等都会产生噪音。再结合之前的罐子和弹珠的例子，我们知道VC b...
2018-02-24 15:53:02
314
原创 林轩田-机器学习基石 课堂笔记（七） The VC Dimension
1、Definition of VC Dimension我们上次学习到，如果我们的假设空间存在Break Point，那么它一定存在成长函数mH(N)被某个上限函数B(N,k)所约束，这个上限函数也会被某个多项式约束，而这个多项式最高项为N^(k-1)。因此我们可总结为：①我们需要有一个好的hypothesis，也就是存在Break Point。②我们需要有一个好的数据集D，也就是一个比较大的D。...
2018-02-21 07:22:02
395
原创 林轩田-机器学习基石 课堂笔记（六）Theory of Generalzation
1、Restriction of Break Point回顾一下之前学习到的定5义①成长函数mH(N)：假设空间在N个样本点上能产生的dichotomy数量，即样本点在二元分类下的组合情况。②突破点（Break Point）：不能满足完全分类情形（shattered：即N个点所有组合情况都出现）的样本点个数，即不可分出2^N种dichotomy。之前我们学习了四种情况下的成长函数及它们的Break...
2018-02-21 05:12:23
351
原创 林轩田-机器学习基石 课堂笔记（五）Training versus Testing
1、 Recap and Preview第一堂课我们告诉大家learning想做的事情，就是有一个未知的f，我们的演算法能找出一个g，使这个g≈f，保证Eout≈0。第二堂课我们引入了PLA算法，可以将线性可分的样本正确的进行分类处理，并针对线性不可分的情况提出了噪音的概念和Pocket算法，这些算法目的都是让Ein≈0。第三堂课我们介绍了机器学习的种类，知道目前我们的训练样本属性为batch &...
2018-02-21 05:08:43
357
原创 林轩田-机器学习基石 课堂笔记（四）Feasibility of Learning
1.Learning is Impossible课上给出了一个例子，要求通过给出的训练样本预测右边的九宫格输出结果为-1还是+1：而实际上无论你回答-1还是+1，我们都可以说你是错误的且能给出看似合理的解释：再看另一个例子，输入为三维的二进制数字。对于5个训练样本，分类效果完全正确，但是在3个测试数据上，预测结果却不一定正确。因此，学习可能是做不到的，在训练集中可以求得一个最佳假设g，但是在训练集...
2018-02-21 05:05:26
330
原创 林轩田-机器学习基石 课堂笔记（三）Type of Learning
1.Learning with Different Output Space上节课主要讲的是二元分类问题（Binary Classification）：输出结果为{-1，+1}，二元分类问题在生活中十分常见，例如是否同意信用卡申请，判别邮件是否为垃圾邮件等。二元分类问题是机器学习领域非常基本核心的问题。第一张图是我们之前学习过的线性可分的二元分类问题，可以运用PLA算法求解；第二张图也是我们学习过...
2018-02-21 05:01:25
216
原创 林轩田-机器学习基石 课堂笔记（二）Learning to Answer Yes/No
1.Perceptron Hypothesis SetPerceptrons=linear (binary) classifiers这里介绍了常用的感知机模型，其本质是一个线性分类器。运用“银行是否同意客户申请办理信用卡”为例：有训练样本D，包括用户的基本信息（年龄，性别，年收入）等以及是否同意了用户办理信用卡的申请。输入中每个x代表一个用户，x的每一维表示用户的某一属性，设有d个属性，每个属性分...
2018-02-21 04:57:15
265
原创 林轩田-机器学习基石 课堂笔记（一）A takes D and H to get g
1.From Learning to Machine LearningLearning: Observations->learning->skillMachine Learning: data->ML->skillps: skill — improve some performance measure (eg: prediction accuracy)2.Key Essen...
2018-02-21 04:52:15
214
原创 机器学习实战笔记(四)：Logist线性回归算法的Python实现
from numpy import *def loadDataSet(): #遍历函数，打开文本文件testSet.txt并进行逐行读取 dataMat = [] labelMat = [] fr = open('testSet.txt') for line in fr.readlines():
2016-03-17 15:55:35
1821
1
原创 机器学习实战笔记(三)：决策树算法的Python实现
from math import logimport operatordef createDataSet(): dataSet = [[1, 1, 'yes'], [1, 1, 'yes'], [1, 0, 'no'], [0, 1, 'no'], [0, 1, '
2016-03-17 15:35:23
1477
1
原创 机器学习实战笔记(二)：K邻近算法
from numpy import *import operatordef classify0(inX,dataSet,labels,k): #inX:用于分类的输入向量;dataSet:输入的训练样本集;labels:标签向量(labels的数目与dataSet行数相同);k:选择的最近邻居的数目 dataSetSize=dataSet.shape[0]
2016-03-17 15:16:33
801
原创 简述人工智能的应用领域
一、人工智能的应用领域 1.博弈 状态空间搜索的大多数早期研究都是针对常见的棋盘游戏来实现的,例如夕阳淘气，国际象棋等。 博弈过程中可能产生惊人庞大的搜索空间，需要强大的技术来哦按段备择状态，搜索问题空间。这些技术被称为启发式搜索，是AI研究的一个重要领域。 因为我们大多数人都有玩这些简单游戏的经历，所以我们可以很容易的设计出我们自己的启发性并测试其有
2016-03-05 15:52:56
7618
2
原创 objective-C学习笔记(六)：OC之block和protocol
一、Block代码块 代码块的本质与其他变量类似，但是代码块存储的是一个函数体。 首先我们要知道block代码块的语法标记：脱字符(^) 1.Block代码块的写法与C语言中指向函数的指针很相似 1>Block示例： 运行结果：
2016-03-04 12:06:37
494
原创 objective-C学习笔记(五)：OC之内存管理
一、对象在内存中的存储细节 1.类创建对象，每个对象在内存中都占据一定的存储空间，有一份属于自己的单独的成员变量，所有的对象公用类的成员方法，方法在整个内存中只有一份。类本身在内存中占据一份存储空间，类的方法存储与此。 2.每个对象都有一个隐藏指针isa,指向当前对象所属的类。当对象调用某个方法时，对象会顺着isa指针找到存储于类中的方法，然后执行。
2016-03-02 12:15:43
426
原创 Objective-C学习笔记(四)：OC之分类、类对象、description方法和SEL
一、Category 分类 1.分类的创建 1>首先按照学习笔记（一）中的方法创建一个新的命令行项目 2>new file新建一个文件 3>选取OS X下Source中的Objective-C file 4>File Type选择Category，Class自己选
2016-03-01 21:09:42
710
原创 Objective-C学习笔记(三)：OC之常用的OC语法下
一、类的声明与实现 1.OC中常见两种文件：.h文件和.m文件 .h文件是头文件，包含方法和属性的声明。 .m文件是参与编译的文件，用来实现类中声明的方法。 这里我们扩充一下，在学习C语言中，我们会遇到几种不同后缀的文件：.c , .o , .out , .exe , .h。其中.c文件是C语言源文件，也就是你自己敲出来的代码；
2016-03-01 17:37:35
471
原创 Objective-C学习笔记(二)：OC之常用的OC语法上
一、NSLog函数 1.前面我们讲到了NSLog这个函数，它与C语言中的printf很类似，会在控制端口输出显示结果。但是NSLog传递进去的格式化字符是NSString对象，而printf函数传递进去的则是char *的字符串指针。-> FOUNDATION_EXPORT void NSLog(NSString *format,...) NS_FROM
2016-03-01 16:17:03
459
原创 Objective-C学习笔记(一)：OC之Hello World！
Objective-C是基于C语言的，面向对象的一种语言，简称OC。完全兼容C语言一、OC之Hello World! 1.打开Xcode,选择Create a new Xcode project 2.选择OS-X下Application中的Command Line Tool项目 3.选择语言为Objective-C,保存文件在你想保存的
2016-03-01 15:09:59
606
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人