huanfeng_AI的博客

极值的定义极值是指函数在某一区间内，当自变量取某一特定值时，函数值达到最大或最小。具体来说，如果函数f(x)在x=c处的函数值大于或等于其邻近的所有值，则称f(c)是函数f(x)的局部最大值；如果函数f(x)在x=c处的函数值小于或等于其邻近的所有值，则称f(c)是函数f(x)的局部最小值。如果在整个定义域内，f(c)都是最大的或最小的，则称f(c)是函数f(x)的全局最大值或全局最小值。极值的性质极值具有以下基本性质：（1）极值点处的一阶导数等于零（或不存在）。

现在我们已经知道了训练误差和测试误差，那么如何才能通过训练误差和测试误差判断该算法模型出现的问题呢？

前面我们学习了朴素贝叶斯算法，本文我们完成一个实战课程，具体来说就是如何使用朴素贝叶斯算法完成垃圾邮件的分类任务，朴素贝叶斯完成垃圾邮件的分类效果很好，这里我们就不对朴素贝叶斯算法进行介绍了，如何第一个看本专栏的可以看前面几个关于朴素贝叶斯的介绍。

经过前面几次课程的学习，我们已经学会了贝叶斯算法，本节课程我们学习一些应用贝叶斯算法的工程技巧，来看看一下如何能够让贝叶斯算法更快一些。

P(（“我”,“司”,“可”,“办理”,“正规发票”)|S)=P(“我”|SP(“司”|SP(“可”|SP(“办理”|SP(“正规发票”|S假如在训练集中我们发现正规发票从来没有出现过，那么P(“正规发票”|S）=0，那么整个概率相乘就变成了0，那么为了解决这个问题，我们使用平滑技术。

伯努利模型，这种方式更加简化与方便，当然它丢失了词频的信息，对于垃圾邮件识别，混合模型更好些。

针对上一篇文章，我们可以看到要想解决垃圾邮件的分类任务这两个概率还是不好计算，此时为了解决这个问题，我们引入朴素贝叶斯算法，朴素贝叶斯算法假设条件独立，也就是说数据对象的不同属性对其归类影响是相互独立的。

贝叶斯算法的应用很广泛，其中最经典的应用就是垃圾邮件的分类，本节课程通过垃圾邮件的例子来看一下贝叶斯算法存在的一些问题，我们应该如何解决它？

本节课程我们通过一个实际问题推出了贝叶斯公式，贝叶斯算法可以认为是解决逆向概率的利器，这在机器学习算法中很常用，后面的专栏会从机器学习的实际问题中来看一下这个算法是如何应用的。

贝叶斯方法把计算“具有某特征的条件下属于某类”的概率转换成需要计算“属于某类的条件下具有某特征”的概率，而后者获取方法就简单多了，我们只需要找到一些包含已知特征标签的样本，即可进行训练。而样本的类别标签都是明确的，所以贝叶斯方法在机器学习里属于有监督学习方法。

至此我们就学会了上限分析，知道了如何使用上限分析来检测我们的系统哪一部分可以做的更好，这样我们的时间就可以花在刀刃上，就可以快速提升我们算法的性能。

上一节课程中我们讲解到了照片的OCR的，以及工作原理，本视频我们讲解照片OCR流水线中的组件是如何工作的，本节课程我们将学习一种滑动窗的分类器。

本文将学习图片的OCR问题，也就是图片字符识别技术。通过对该任务的学习，我们将掌握机器学习中的流水线概念，也就是说如何将一个机器学习问题分解为多个模块。多个模块从前到后共同完成一个机器学习任务。

什么是高偏差（欠拟合），什么是高方差(过拟合)？是指算法打偏了，没有命中目标。如果训练集只有50%的命中目标时，偏差很大，此时就是欠拟合。是指训练集和测试集上的表现，若训练集100%的命中了目标则偏差小，测试集命中率0%，则方差很大，这就是过拟合。要想获得一个比较高效的学习系统，其中一种最可靠的办法就是选择一个低偏差或者高方差的算法，然后使用巨大的训练集来训练它。

我们学习了随机梯度下降，以及梯度下降算法的变种（在线学习）。然而所有这些算法都只能在一台计算机上运行，但是有些机器学习问题因为数据集太大以至于不能够在一台计算机上运行，为了解决这个问题，本节我们讲解的大规模的机器学习称为，它比随机梯度下降能够处理更大规模的问题。

本节课程我们将学习一种新的大规模的机器学习机制--。在线学习机制让我们可以模型化问题。在线学习算法指的是对数据流进行学习而非离线的静态数据集的学习。许多在线网站都有持续不断的用户流，对于每一个用户，网站希望能在不将数据存储到数据库中便顺利地进行算法学习。

我们使用的学习率往往是不变的，本节课程我们将令学习率随着迭代次数的增加而减小，这会对算法的学习有很大的好处。

我们使用的这种方法不需要定时地扫描整个训练集，来算出整个样本集的代价函数，而是只需要每次对最后 1000 个，或者多少个样本，求一下平均值。应用这种方法，你既可以保证随机梯度下降法正在正常运转和收敛，也可以用它来调整学习速率α的大小。

我们前面学习了批量梯度下降和随机梯度下降，这两种各有优点和缺点，那么本节课程我们将学习小批量梯度下降算法，该算法介于两者之间。

批量梯度下降可以看到批量梯度下降算法的迭代的轨迹看起来非常快的收敛到全局最小值。随机梯度下降算法在每一次计算之后便更新参数 θ，而不需要首先将所有的训练集求和，在梯度下降算法还没有完成一次迭代时，随机梯度下降算法便已经走出了很远。但是这样的算法存在的问题是，不是每一步都是朝着"正确"的方向迈出的。因此算法虽然会逐渐走向全局最小值的位置，但是可能无法站到那个最小值的那一点，而是在最小值点附近徘徊。

现在是一个大数据的时代，现在的算法训练比以前要好很多，其中原因之一就是我们现在拥有很多可以训练算法的数据，大规模机器学习就是用来处理大数据的算法。

现在有一个问题，假如电影网站新增加了一个用户，此时该用户没有为任何电影打过分数，那么电影网站应该如何来为他推荐电影呢？此时可以使用均值归一化的方式来进行初始化的操作。

本节课程我们将学习如何使用机器学习的方法来构建一个垃圾邮件分类器，邮件分为垃圾邮件和非垃圾邮件，那么这是一个二分类的问题，我们可以使用监督学习的方式，收集一些邮件，其中垃圾邮件标记y=1，非垃圾邮件标记y=0。

我们前面学习了协同过滤算法，本节课将会讲到有关该算法的向量化实现。

上一节中我们学习了协同过滤算法的损失函数，本节课程我们将学习如何求解这个损失函数的最小值。

我们分析机器学习算法都是从损失函数的角度来说的，为了找到最佳的参数θ，可以最小化损失函数，那么本节课程我们将学习基于内容的推荐系统的损失函数是什么？

现如今无论是头条还是淘宝都在进行个性化推荐，他们的核心就是推荐系统，本节课程我们将对推荐系统进行简单的介绍。

我们前面学习使用多元高斯分布构造异常检测算法，为什么多元高斯分布就可以解决那个异常点问题，本节课程我们就直观的看一下，为什么它可以？

它计算量比较小，所以它可以计算大量特征的数据集，但是它不能捕捉到特征和特征之间的相关性，它可以通过将特征和特征进行组合的方式来解决，但是有些麻烦。

综上所示，我们应该已经知道了为什么使用多元高斯分布可以学习到y=kx这样的边界了，这就是协方差矩阵所带来的。

前面学习的异常检测算法使用的是高斯分布，但是它会有一些问题，本节课程我们使用多元高斯分布。

在异常检测算法中，我们要做的事情之一就是使用正态(高斯)分布来对特征向量进行建模p（xi；μi，σi²），所以输入到算法中的特征变量很重要。

有些时候数据集可能并不是很均衡，比如发动机的例子，出现问题的毕竟是少数，所以此时我们可以使用异常检测算法，我们使用正常样本来建模，这样即使再来一个正样本，基本上它的特征我们以前的样本也能将其包含进来，从而判断它是正常样本。而异常样本太少，我们根本没有办法在这些样本中学习出来太多的东西，所以我们只能拿这些少量的样本来评价，而不是训练。

假如有m个正常样本，然后需要一个算法来确定一个新的样本数据Xtest是否是异常的。我们采取的办法是给定无标签的训练集，我们对该数据集建立一个模型p(x),也就是说对样本x的分布概率建模，之后新的发动机如果p（x_test）

我们前面学习了PCA算法，本文我们将学习一种新的算法，这种算法和PCA非常相似，这个算法叫做线性判别分析,简称为LDA,也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。

然后应用到交叉验证集和测试集的x到z的映射。

前面我们已经学习了PCA算法，他能完成数据的压缩，那么是否可以将压缩过的数据恢复到近似原始高维度的数据吗？

上节课程中我们已经学习了pca算法，已经知道了如何将n维特征变量降到k维，k是PCA算法的一个参数，也被称为主成分的数量。那么现在就产生了一个问题，这个问题就是如何选择K，因为PCA要做的就是要尽量减少投射的平均均方误差，所以K的选择很关键。

当数据从n维降到k维的时候，我们需要找到一个能使得投影误差最小的k维向量构成的投影平面，然后将数据进行投影，从而达到降维的作用。所以PCA算法要做的就是，一件事情就是计算最优的k维向量，另一个问题就是计算原来样本点映射到降维面的z(i),也就是这些新的特征变量。

前面我们学习了降维算法的两大应用场景，本节课程我们将学习具体的降维算法PCA，它是主成分分析法。