weixin_53312629的博客

本篇文章是对之前所有课程的重点的总结

本篇文章主要介绍了一种叫做照片 OCR 的机器学习的应用实例，它注重的问题是如何让计算机读出图片中的文字信息，随后我们介绍了流水线的概念；在滑动窗口中通过行人检测和文本检测的例子来说明滑动窗口的作用；在人工数据合成中我们讨论了人工数据合成的两种方法，从零开始生成新数据，或是扩充一个已有的训练集；上限分析是个很有用的工具，可以用来衡量模块，当我们想花精力到某个模块上时，我们可以确定这样做会不会有效果，整个系统的表现会不会产生明显的提高。......

本篇文章主要介绍了大规模的机器学习，通过找出合理的计算方法或高效的计算方法来处理庞大的数据集；随机梯度下降算法在每次迭代中不需要考虑全部的训练样本，只需考虑一个样本，因此要快得多；小批量梯度下降算法在好的条件下会比随机梯度下降算法和批量梯度下降算法都要快；在随机梯度下降收敛中介绍了一种方法来近似地检验随机梯度下降算法在优化代价函数中的表现；在线学习机制与随机梯度下降算法非常类似，但不会使用一个固定的数据集；在映射归约与数据并行中我们介绍了MapReduce方法来并行化计算机器学习问题。...

本篇文章主要介绍了推荐系统，首先介绍了推荐系统问题的主要形式；在基于内容的推荐算法中介绍了如何将变量应用到线性回归中来预测不同用户对不同电影的评级；在协同过滤中介绍了一个方法来做推荐系统，它不是基于内容的，并且不假设已经得到这些所有的电影的特征；随后介绍了协同过滤算法，它可以同时学习几乎所有电影的特征和所有用户参数；在低秩矩阵分解中介绍了如何使用一个向量化的实现来计算所有用户对所有电影的评分预测值；最后介绍了均值归一化，它作为协同过滤算法的预处理步骤，有时能让算法表现得更好一些。......

本篇文章主要介绍了异常检测，首先直观描述了问题，随后定义了异常检测；高斯分布部分介绍了高斯函数的图像特征以及如何用其拟合数据；算法部分我们讨论了如何估计p(x)的值使来开发异常监测的算法；开发和评估异常检测系统中介绍了划分带标签和无标签的数据的方法；开发和评估异常检测系统中介绍了评估一个异常检测算法的步骤；特征选择中介绍了如何选择特征以及对特征进行转换；多元高斯分布最重要的优势就是可以描述两个特征变量之间可能存在正（负）相关的情况；用多元高斯分布来做异常检测能实现自动地捕捉正样本和负样本各种特征间的联系。.

本篇文章主要介绍了降维的相关内容，以及两个应用：数据压缩可以使得某些算法运行得更快；可视化部分则是将数据画出来并更好的理解他们。在使用 PCA 之前首先要进行数据预处理。PCA 所做的是尝试找到一个面或线，把数据投影到这个面或线上，以便于最小化平方投影误差。主成分数字选择中介绍了一种高效的方法来选择 k。文中总结了 PCA 的主要应用，也指出了两个误区并给出了相应的建议：使用 PCA 来防止过拟合可能会导致重要数据的丢失；在设计一个机器学习系统时，只有在原始数据训练学习算法不能达到目的时才考虑使用压缩表示。

本文主要介绍了聚类算法的相关内容。首先复习了无监督学习的内容以及聚类算法的应用。其次从直观上介绍了 K 均值算法，以及该算法的规范表达和具体的应用（分离不佳的簇）。在优化目标的部分提到了失真代价函数，同时也对 K 均值算法进行了补充。随机初始化 K 均值算法适用于聚类数目相对较小的聚类方法，有时可以帮助我们找到对数据进行聚类的更好的方法。聚类数量 K 仍然是通过手动、人工输入或者用经验来决定。一种可以尝试的方法是使用“肘部原则”，但不会期望它每次都有效果。选择聚类的更好的思考运行 K 均值聚类的目的是什么。

本篇文章主要介绍了支持向量机（以下简写为 SVM）的相关内容，首先在逻辑回归的代价函数的基础上进行修改，引出了 SVM 的优化目标。随后解释了大间距分类器这种叫法的具体含义，即 SVM 会选择尽量把正负样本以最大间距分开的假设模型，以及其数学原理。接着介绍了核函数这部分的概念以及我们如何在支持向量机中使用它们。在构造判别边界时需要注意参数的选择。除此之外，在使用 SVM 的过程中需要进行核函数的选择。最后介绍了不同的情况下，应该选择使用哪种方法。

本文主要介绍了机器学习系统设计的相关问题。首先通过垃圾邮件分类的例子来展示操作过程，随后介绍了提高精准度和降低错误率的一些方法，以及一些在机器学习开发或应用时的推荐的方法：先通过一个简单的算法来快速的实现目标，随后画出相应的学习曲线便于后续的判断，最后进行误差分析。随后介绍了评估度量值的重要性。为了解决偏斜类问题，引入了查准率和召回率的概念，对于如何在二者之间抉择的问题，应当采用调和平均数对两者进行结合进一步来挑选临界值。最后，对于一个算法应当有足够多的参数和足够大的训练集。

本文主要介绍了偏差和方差问题以及判断这些问题用的方法以及这些概念的含义。首先提供了一些可以改进算法性能的方法。随后在评估假设中通过将数据集分割成两部分来进行训练和测试；在模型选择问题中则通过分割成三部分来进行训练和测试。在诊断偏差与方差中，通过交叉验证误差和训练误差在不同多项式次数下的大小关系来区分高偏差和高方差。为了进一步解决过拟合问题，选择对模型进行正则化处理，其关键在于确定合适的正则化参数。学习曲线可以用来检查算法运行是否一切正常或者改进算法的表现。最后回顾了开始提到的几种方法，进一步对其进行了区分。

本文主要介绍了神经网络中的代价函数、具体实现的反向传播算法、计算过程中的技巧（展开参数）、梯度检测、随机初始化以及神经网络的应用。反向传播算法主要用于计算偏导项，其过程与前向传播法大致相同只是方向不同。展开参数就是通过矩阵和向量的互相转换来实现高级最优化步骤中的使用需要。梯度检测主要讲了从数值上计算梯度的方法，去验证反向传播算法的实现是正确的。随机初始化则是为了解决对称权重问题，避免最后的逻辑回归单元只能得到一个特征。

本文主要介绍了神经网络的相关内容，包括起源、模型的建立、工作原理以及几个直观的实例。神经网络最初是为了模拟人类大脑而建立的，希望可以实现只通过一个算法对不同类型的数据进行处理。在模型的建立中，首先通过逻辑单元来模拟神经元的工作，不同的神经元连接在一起后可以形成神经网络，包含输入层，输出层和隐藏层。神经网络的工作原理实际上就是前向传播，即从输入特征后逐层计算到输出结果。在具体例子中，通过建立逻辑与、逻辑或、逻辑非的神经元，再将其进行组合得到了可以表示异或非的神经网络；除此之外，神经网络还可以解决多元分类问题。

本文主要介绍了正则化的相关内容，先是通过过拟合问题来引出正则化，随后讲了正则化的应用，进而讲解了如何在线性回归和逻辑回归中对不同的算法实现正则化。简单来说，过拟合问题是对数据的拟合过度，像是为了拟合数据而拟合，导致假设函数不能实现对数据的泛化，其图像上下波动扭曲变形。正则化是通过添加惩罚项来减小特征量的在假设函数中的量级，进而实现假设模型的简化，使其更不容易出现过拟合问题。正则化在线性回归以及逻辑回归中的应用都是通过在代价函数中添加变量的惩罚项来实现的。

本文主要介绍了分类问题的概念以及在逻辑回归算法中的假设表示、决策边界、代价函数及其简化与梯度下降、高级优化以及多元分类中一对多方法的原理。假设表示则是在一个分类问题里选择一个方程来表示假设。决策边界可以实现对数据的划分，但它并不是数据集的属性。理想状态下，代价函数应当为凸函数。逻辑回归中的梯度下降形式上与线性回归相同，但是由于二者假设的定义不同，所以并不是同一种方法。高级优化在大型的机器学习问题中，往往比梯度下降更占优势。多元分类中的一对多分类方法则是通过选出效果最好的分类器来简化问题。

本文主要介绍了 Octave 的一些基本操作以及对数据的移动、计算、绘制，以及控制语句的实现和向量化的概念。其中基本操作包括基本运算、对变量和矩阵的建立以及使用；移动数据包括计算矩阵的大小以及通过文件来加载数据并对数据进行查找；绘制图像包括单独成像、重合成像和分块成像；除此之外还有控制语句的使用以及函数的定义和使用；最后介绍了一个在实际操作中很有用的思想——向量化的思想，在此基础上合理地运用库函数来实现代码的优化。

本文介绍了多元线性回归以及两个相关的算法，分别是多元梯度下降法以及正规方程法，除此之外还讨论了特征以及多项式回归的问题。多元线性回归是一种新的线性回归版本，适用于多个变量或者多特征量的情况。多元梯度下降法是在原来的梯度下降算法的基础上引入了多变量，当不同的特征取值范围相差太大时需要要进行特征缩放，除此之外，多元梯度下降法中还介绍了正确选择学习率的方法以及选择不恰当时会出现的问题。对于正规方程法，只要特征变量的数目并不大，它在线性回归模型中比梯度下降法更具有优势。

本文简单的复习了一下机器学习中用到的一些关于矩阵的基本知识，包括矩阵的加法乘法、逆运算、转置等，同时也简单的介绍了一下如何使用Octave计算矩阵的逆。

主要讲了线性回归模型、梯度下降算法以及二者相组合得到的线性回归的梯度下降算法，其中着重介绍了线性回归模型的代价函数中的平方差代价函数，用来表示线性回归模型的拟合程度，其数值越小，拟合的效果就越好。梯度下降的思想是每次朝下降幅度最大的方向前进，直至找到局部最优解，其中梯度下降算法公式中的学习效率α要适中，且在梯度下降过程中不需要修改。线性回归的梯度下降算法由于线性回归代价函数的特殊性，每次必然会找到且唯一的一个解，即全局最优解，该方法的每一步梯度下降需要遍历整个训练集的样本。

本文简单地介绍了一下监督学习和无监督学习两个算法的概念以及应用，两个算法的区别就在于监督学习从一开始给出了数据的“正确答案”而无监督学习则不会给出。同时还着重介绍了监督学习中的回归问题和分类问题，二者都是对数据进行预测，区别在于回归问题预测的是连续的数据，而分类问题预测的是离散的数据无监督学习中的聚类算法和鸡尾酒舞会算法，聚类算法应用广泛，简而言之就是通过算法将数据集划分成不同的集合，鸡尾酒舞会算法则作为例子引出了Octave在开发过程中的重要性。