hahahyahshsba的博客

原创 机器学习基石-09-3-Generalization Issue

第八章的总结第九章开始学习linear regression线性回归。

原创 机器学习基石-10-4-Gradient Descent

第十章会讲到logistics regression，逻辑斯蒂回归。

原创 机器学习基石-10-1-Logistic Regression Problem

目标函数f的输出空间是整个实数R。

原创 机器学习基石-10-2-Logistic Regression Error

原创 机器学习基石-10-1-Logistic Regression Problem

原创 机器学习基石-10-4-Gradient Descent

Gradient Descentv是单位向量，所以还得除以它的模。每一次移动的步长η是动态变化的最好，刚开始移动时η会大一些，每迭代一次η就会变小，η和是正相关的关系。所以logistic regression的具体步骤就是：fun timeGradient Descent

原创 机器学习基石-10-3-Gradient of Logistic Regression Error

将logistic regression的问题转换成PLA的更新过程，之前的课程中把逻辑回归的概率转换成了“O”和“X”的问题，二分类的问题，就是PLA的问题。将PLA的更新过程扩展到逻辑回归上v是更新的方向，η是每一次迭代的步长。iterative  optimization approach迭代优化方法逻辑回归的Ein是平滑的，v假定是单

原创 机器学习技法-01-3-Standard Large-Margin Problem

Solving a Particular Standard Problem举一个特殊的例子根据上面的限制条件可以得到，其中w的内积=w1的平方+w2的平方。需要注意的是，第一点记作x1，第二个点记作x2，第三个点记作x3，这里不要和（x1，x2）搞混了，任意一个点xn的坐标是（x1,x2），hyperplane的式子是w1x1+w2x2+b=0。

原创 机器学习技法-01-4-Support Vector Machine

上节课是特殊的例子，那么一般的SVM怎么处理呢？1.梯度下降法？有条件限制的情况下很难实现。2.二次规划quadratic programming二次规划的标准格式：1.convex quadratic objective function；2.限制条件是linear constraints of(b;w)。二次规划找到最优解是很容易实现的。新的算法：linear h...

原创 机器学习技法-01-5-Reasons behind Large-Margin Hyperplane

Solving a Particular Standard Problem举一个特殊的例子根据上面的限制条件可以得到，其中w的内积=w1的平方+w2的平方。需要注意的是，第一点记作x1，第二个点记作x2，第三个点记作x3，这里不要和（x1，x2）搞混了，任意一个点xn的坐标是（x1,x2），hyperplane的式子是w1x1+w2x2+b=0。

原创 机器学习技法-01-2-Large-Margin Separating Hyperplane

distance to hyperplane和之前不太一样的是，之前的会补上x0=1，这里是把w0单独拿出来，w0,(w1,w2,w3…wd)，w0是截距。b就是hyperplane函数的常数项，w1x1+w2x2+b=0的形式。其中b=w0。可以表示hyperplane平面上的任意一个向量，所以w会垂直于hyperplane这个平面。w是这个平

原创 机器学习技法-01-1-Course Introduction

线性支持向量机PLA在之前的课程中很难对每一条hyperplane进行具体的优劣比较，是借助dichotomy将无限的问题转换成了有限的问题。那么到底哪一条线比较好呢？PLA? 每一次的选择都是随机的，VC bound的角度来说，下面的三种情况并没有区别。想象已经有了原始资料xn，就是被hyperplane完美分开的那些点，测试的时候拿到和xn很相近的数据（因为总会存在一些

原创 机器学习基石-09-4-Linear Regression for Binary Classification

把{-1，+1}看做是实数的一种，然后对{-1，+1}使用linear regression得到了一个w，这个w会使得在+1的地方告诉我是一个>0的事情，在-1的地方告诉fun timeA,B,C都在error 0/1的上面，y=+1和y=-1两种情况的图形都是在error 0/1的上方，ABC三个选项是以后会用到的很重要的error  measure的方法

原创 机器学习基石-09-3-Generalization Issue

接下来对于Eout(w(LIN))为什么会很小，接下来进行证明。下面的证明没看懂，以后再看一点。trace(I-H)是矩阵的对角线上所有元素相加总和。

原创 机器学习基石-09-2-Linear Regression Algorithm

将Ein(w)写成矩阵的形式上面的重要步骤是把连加的平方和写成了向量内积的平方。其中x=（x0,x1,x2,……xd）总共d+1个变量任务变成了求解上面结果的最小值可以先看一下Ein(w)和w之间的图形：哪里是最低点呢？在最低点上不管往哪个方向移动都不会产生更低的Ein，也就是梯度要是0。梯度：对函数在每个方向上（不同的w,w0,w1…,wd）做

原创 机器学习基石-09-1-Linear Regression Problem

第八章的总结第九章开始学习linear regression线性回归。linear regression的learning过程和之前的算法过程相似，就是在target function有一点不同，线性回归的f是一个会输出实数的函数。线性回归的hypothesis和感知机的h(x)是相似的，但是没有sign()函数。线性回归的输出空间就是整个实数。

原创 机器学习基石-08-4-Weighted Classification

第八节课的总结成本矩阵cost/error/loss matrixVC theory，也就是VC的理论依然可以直接使用，所以只需要证明Ein(h)很小就可以得到Eout(h)很小的结论。需要注意之前的Ein(g)没有权重的加权，这个是区别。1.PLA不需要做任何的修正，因为满足完全线性可分那么Ein一定等于0，也是0，所以PLA不用考虑weighted权重。

原创 机器学习基石-08-3-Algorithmic Error Measure

指纹识别的例子中，存在两种error：第一种是false reject是有权限进入的人却被拒绝访问了；false accept是没有访问权限的人被错误标记成有权限的人了。举两个生活中例子1.超市通过指纹识别来判断是否要给这个顾客一些折扣：false accept：不应该给折扣的给了一点折扣，并没有什么特别大的影响；false reject：应该给折扣的却没给，顾客会很生气以后再也不

原创 机器学习基石-08-2-Error Measure

error measurepointwise就是每次对一个点进行预测。classification指的是分类的方法，对或者错的判断。pointwise error measure在in-sample中，如果存在noisy就不能写成f(xn)要写成yn在out-of-sample中，如果存在noisy就不能写成f(x)，这时的y是按照P抽取的不是确定的。

原创 机器学习基石-08-1-Noise and Probabilistic Target

Noise and Probabilistic上节课的内容回归一下接下来将会考虑存在噪声noise的情况下VC bound是否仍然有效。noise可能的几种情况：1.可以发放信用卡的客户被错误“标记”成不可以发放的；2.inputs完全相同的时候，有的客户发放了信用卡有的却没有发放；3.客户填资料的时候不正确。VC bound的核心就是从罐子中抽取弹珠，

原创 机器学习基石-07-4-Interpreting VC Dimension

这节将会更加深入地理解VC维，penalty for model complexity：当VC维很大“power”的效果很好时，需要付出的“代价”。上面的不等式的意义：“坏事情”发生的几率很小很小，也就是“好事情”发生的几率会很大。发生“好事情”的概率就会小于等于1-σ.上面Eout(g)夹在中间，有点像Eout(g)的置信区间。一般地，只考虑Eout(g)右边小于的部

原创 机器学习基石-07-3-Physical Intuition of VC Dimension

自由度degrees of freedomdvc=d+1的d+1其实也就是感知机的维度，这样就把VC维和感知机的维数联系起来了。hypothesis “power” dvc=d+1：有效的二元分类的自由度。VC维的power也就是用来衡量H到底能产生多少种dichotomy的能力，VC维就表示到什么时候我们还能shatter，也就是还能产生最多的dichotomy。从上面两

原创 机器学习基石-07-2-VC Dimension of Perceptrons

2维感知机的VC维那么对于多维的感知机怎么求VC维呢？重要原理：1.只要能找到一个d+1 inputs可以被shatter，那么dvc>=d+1;2.任何一个d+2 inputs都不可以被shatter，那么dvc像上面的二维感知机，因为存在3个点不共线时是可以shatter的，所以dvc>=3；但是对于任何4个点都是不可以shatter的，因为二维感知机的br

原创 机器学习基石-07-1-Definition of VC Dimension

VC维-how to use break point？上一节课的结论：More on growth function可以明显地看到右边的数值比左边大，所以可以适当地再放宽不等式一点。More on vc Bound在假定集H中有任何一个假设发生“坏事情”的几率很小很小。既然已经保证了大部分的时间假设都不会发生“坏事情”，所以不论选择哪种算法，通过算法找到

原创 机器学习基石-06-4-A Pictorial Proof

这节的内容没有很好地理解。

原创 机器学习基石-06-3-Bounding Function- Inductive

如果想求B(4，3)，可以尝试找到B(4，3)和B(3,?)之间的关联。假设现在通过计算机得到了B(4，3)=11，how  to reduce B(4,3) to B(3,?) cases?将上面的11种dichotomy分成orange和purple两类，其中orange代表的是x1,x2,x3都完全相同只有x4不相同的dichotomy，purple代表的是x1,x2

原创 机器学习基石-06-2-Bounding Function- Basic Cases

bounding function不考虑growth function成长函数是什么样的，只考虑排列组合上我们可以做出多少种？通俗地讲，一堆向量（由dichotomy组成），长度是N，从中抽取k（break point k）个也不允许存在shatter。接下来的新目标是证明：上一节课中我们已经讨论了N=2，k=2；N=3，k=2两种情况下的分别为3和4。

原创 机器学习基石-06-1-Restriction of Break Point

restrict of break point四个成长函数的break point那么break point到底有没有为我们未来到底能够产生几种dichotomy加上更强的限制呢？首先理解一下break point k=2的意义：任意两个point不能shatter，不能shatter就是说不能出现完整的四种“OX”,"OO","XX","XO",如果在两个point上同时完成

原创 机器学习基石-05-4-Break Point

接着上一节课的2维感知机到底是指数还是多项式的问题，应该怎么做呢？4个inputs不能做出8种，k=4就是一个break point。只要k是break point，那么k+1,k+2……也都一定是break point；2维感知机的break point=4。4种成长函数的break point：当不存在break point时（比如convex sets），

原创 机器学习基石-05-3-Effective Number of Hypotheses

Dichotomies: Mini-hypotheses，dichotomy意思是一分为二，就是将普通的都转换成二分的。用来代替M的部分就是可行的假设h的个数，包含所有可能存在的情况，比如inputs为2时，可能是6也可能是8。但是这个想要代替M的部分会受到inputs（x1,x2,x3……）的影响，那么如何去除这种影响呢？取所有inputs中的最大值来代替对应

原创 机器学习基石-05-1-Recap and Preview

两个中心问题two central questions可以将learning拆成两个问题：1.Ein(g)和Eout(g)是否很接近；2.怎样才能使得Ein(g)变得越小越好？那么H假定集的大小M对于上面的两个问题有什么影响呢？bad things就是Ein(g)和Eout(g)差别特别大far away；当M很小时，就说明发生坏事情的概率很小；

原创 机器学习基石-04-4-Connection to Real Learning

Multiple h之前提到的都是只有一个“固定的h”，那么存在很多个h怎么做？Question：150个人分别丢5次硬币，其中一个人丢了5次都是“花朝上”，此时的g是最好的吗？Answer：不是的，因为150个人中有一个人丢5次都是“花”的概率特别大；BAD Sample：当E(in)和E(out)的误差相差很大(far away)时，其中in代表抽取样本时的误差，out代表

原创 机器学习基石-04-3-Connection to Learning

上面的图展现了之前例子的“瓶子中orange球的概率”和learning学习的一一对应关系。orange球的概率就是“h(x)不等于f(x)”，也就相当于PLA算法中的叉叉，而green球就相当于圈圈。在瓶子中抽取样本就相当于数据集D（inside），一个新的需要分割开的点x就是outside的数据。需要注意的是，上面的h(x)是固定的！！！The Formal Guara

原创 机器学习基石-04-2-Probability to the Rescue

前面说到了“learning is impossible”，那么我们要怎样才能对something unknown进行推断呢？下面举一个例子，一个瓶子中有橘色和绿色的球，数目很大不能直接拿出来数，问应该怎样做才能估计瓶子中橘色求的概率？其中μ是指“真实的”概率，μ是未知的；v是指样本中橘色球的概率，v是已知的。1.v并不能完全地代替μ，特别是在“瓶子中orange球很多”但

原创 机器学习基石-04-1-Learning is Impossible

例1在下面的图示中，根据给出的6个样本及对应的yn，来判断下面的图形属于yn=+1还是yn=-1。yn=1和yn=-1都有充分的理由，所以不清楚到底结果是哪个。例2上面的例子中，在D给出的数据集中g(x)都满足“g趋向于f”，但是无法判断具体是哪一个更合适。因为在数据集D以外的都不相同，D以外的部分对于我们来说是最重要的（拿到一个D以外的新数据还能够准确地判断它

原创 机器学习基石-03-4-learning with different Input Space

1.concrete features：the "easy" ones for ML3.Abstract  Features2.Raw Featuresraw features需要通过人工或者机器转换成concrete features人工：feature engineering特征工程机器：deep learning深度学习3.Abstract F

原创 机器学习基石-03-3-learning with different Protocol

1.batch learningbatch of （email，spam）------>spam filterbatch of (patient,cancer)-------->cancer filterbatch of patient data-------->group of patientsbatch learning：a very common protocol.bat

原创 机器学习基石-03-2-learning with different Data Labels

1.supervised learning监督学习：每一个xn都有对应的yn2.unsupervised learning无监督学习，没有yn3.Semi-supervised半监督学习: Coin Recognition with Someyn4.Reinforcement Learning强化学习当你很难定义yn="坐下"的时

原创 机器学习基石-03-1-learning with different Output Space

1.二分类：yes/no；sick/not sick2.multiclass多分类：癌症的各种类型3.regression回归：根据病人的特征预测还需要几天才可以出院eg：company data----->stock priceclimate data------>temperature4.structured learning：应用于自然语言处理eg：multiclas

原创 统计学习方法-第二章-感知机

在看了机器学习基石的感知机算法视频之后，把李航的统计学习方法的这部分内容也看了。视频讲解更详尽更清晰一点，适合数学基础一般的同学学习之后再去看纯数学的推导过程，在理解算法的原理之后会更容易看懂推导（我就是这样劝自己的hhh）。具体的推导过程就不再解释了，会在下面补充一些内容。1.之前听课的时候一直以为将数据集分隔开的是一条线，其实是一个超平面S，所以w向量会和这个平面垂直就更好理解了；