Jackie_Zhu的专栏

上一讲讲了如何用逻辑回归来解决分类问题，如果在两个类多维线性不可分的情况下，可以通过添加多项式项把向量投影到高维空间使得它线性可分。但这也存在一个问题，就是当选取的特征很多的时候，featurevector可能高达几千维，这就是维数爆炸的问题。        比如，如果有一个n个feature的向量，如果用二次项去拟合，那么产生的多项式会有x1^2,x1x2,x1x3…;x2^2, x2x3,

Boosting算法的核心思想是，构造一堆diverse的弱分类器（准确率不为0.5），然后将这些构造好的弱分类器进行融合，达到一个强分类器的效果。Adaboost算法是Boosting ensemble里面的一种，

逻辑回归和SVM都是比较理想的分类器，但是各有优缺点，逻辑回归不仅可以得到具体的分类类别，还可以得到连续的概率值（因为逻辑回归实质上是回归）；SVM则可以利用kernel将特征投影到高维甚至无穷维来更好地拟合数据。这里我们来看一下逻辑回归和SVM之间有没有什么联系，以及能否将kernel应用到逻辑回归上，使得逻辑回归具备类似SVM的非线性分类特性。逻辑回归逻辑回归的假设是下面的一条S型曲线，值域是[

在解决实际问题的过程中，我们会倾向于用复杂的模型来拟合复杂的数据，但是使用复杂模型会产生过拟合的风险，而正则化就是常用的减少过拟合风险的工具之一。过拟合过拟合是指模型在训练集上误差很小，但是在测试集上表现很差(即泛化能力差)，过拟合的原因一般是由于数据中存在噪声或者用了过于复杂的模型拟合数据。如下图所示，下图中的训练样本是三次多项式加了点噪声得到的，然后用不同的多次项拟合，M代表最高次项次数，下面四

LSSVM（Least Square SVM）是将Kernel应用到ridge regression中的一种方法，它通过将所有样本用最小二乘误差进行拟合（这个拟合是在kernel变换过的高维空间），但是LSSVM的缺陷是计算复杂度大概是样本数的三次方量级，计算量非常大。为了解决这个问题于是提出了SVR（支持向量回归），SVR通过支持向量减小了LSSVM的计算复杂度，并且具备LSSVM的能够利用ke

分类问题中，在一个线性不可分的样本上，通常需要用到一些Non-linear的特征，把低维度空间上的样本投影到高维度上，从而使得这些样本在高维度线性可分。但这投影过程通常也会有以下两个问题：1. 如果在原样本中加了太多的高次多项式的特征，首先会导致过拟合，模型的泛化能力会很差；2. 多项式组合会有指数级别的组合方式，这使得在投影后的样本空间中维度非常高，这也会消耗太多的计算资源和空间资源SVM解决了上面两个问题

上两篇讲到了hard-margin的SVM以及kernel的原理，利用高斯kernel可以将低维空间转换到无穷维，将所有样本分开。但是如果数据中存在一定的噪声数据，SVM也会将噪声数据拟合，存在过拟合的风险。Soft-margin SVM原理就是让SVM能够容忍一定的噪声数据，以减少过拟合的风险。Hard-margin过拟合问题 先看一下上面的相同数据集中的两个模型，左图中的模型能够容忍数据中存在

在一个线性不可分的样本中，用添加多次项特征可以将两类样本分开，具体原理请参考 这里，用SVM分类器也是同样道理。如果两类样本交叉越多，需要越高次的特征，模型就越复杂，这在存储上和计算资源上都是很大的开销。SVM用kernel方法就解决了这个问题，kernel方法是将高维度的计算放到低维度来做，最后得到的是高纬度上的模型。具体原理请看下面的推导。特征转换如果样本在低纬度空间不可分，那么可以将样本的特征

链接地址：  点击打开链接有空的时候再学习

1.线性回归CostFunction推导：              在线性回归中，Cost Function是，关于这个公式的推导，首先由一个假设,其中满足高斯分布，.那么根据得出在这里，把看成是随机变量，那么服从高斯分布，，对于给定的X，theta要估计y的分布是怎么样的，极大似然估计函数为：

上一讲讲了神经网络的表示，神经网络中，从前一层映射到后一层的需要有个一个权重矩阵Theta和激活函数，映射后可以得到该层神经元的activation。如何来学习Theta是本讲要解决的内容。首先，对于一个分类问题，如果是两类问题，输出层只需要有一个神经元，输出1为正类，输出0为负类。而对于多类的问题，需要有多个神经元。定义一个神经网络，如下： 它的输出是一个向量，如图，假设

本节内容主要包含单变量（One Variable）和求解costfunction的最优值的学习算法—梯度下降法（Gradientdescent）以及多变量（multipleVariable）的线性回归。1.      单变量的线性回归（Linear Regission with onevariable）        监督学习的样本中都含有对于每个输入变量的输出值，通过建立模型并且学习得到

1.分类问题 判断一封邮件是否为垃圾邮件，判断肿瘤是良性的还是恶性的，这些都是分类问题。在分类问题中，通常输出值只有两个（一般是两类的问题，多类问题其实是两类问题的推广）（0叫做负类，1叫做正类）。给定一组数据，标记有特征和类别，数据如（x(i),y(i)），由于输出只有两个值，如果用回归来解决会取得非常不好的效果。  在良性肿瘤和恶性肿瘤的预测中，样本数据如下 上图是用线

k-means是简单的聚类算法，在实现过程中有很多需要注意的地方，比如如何什么时候用k-means，怎么样判定k-means工作正常，k的值怎么选取，本文讲解关于k-means的方方面面

前几讲学习了很多机器学习的算法，但是在实际的应用中会遇到很多过拟合和欠拟合的问题，这些问题都会导致测试结果不理想。用什么方法解决这些问题，是本讲研究的主题。举一个房价预测的例子，如果学习了一个模型，发现测试结果非常不理想（有非常大的误差），那么接下去该怎么办？下面有几种解决方法：1、 获取更多的样本，来训练模型        2、 试着用更少的特征来构建特征向量3、 特

什么是神经网络？神经网络是由很多神经元组成的，首先我们看一下，什么是神经元上面这个图表示的就是一个神经元，我们不管其它书上说的那些什么树突，轴突的。我用个比较粗浅的解释，可能不太全面科学，但对初学者很容易理解：1、我们把输入信号看成你在matlab中需要输入的数据，输进去神经网络后2、这些数据的每一个都会被乘个数，即权值w，然后这些东东与阀值b相加后求和得到u，3、上面只是

在机器学习中，已经有了许许多多的模型，比如SVM，逻辑回归等等，这些算法有各自的优缺点，并且每种算法也可以产生非常多的不同的模型。如果把这些算法都结合起来，取其所长，或者说把一些比较弱的分类器结合起来形成一个强分类器（boosting），就可以得到更优的模型