Taurus

根据学习进度，将课程分为15部分进行笔记，具体内容如下：吴恩达机器学习（一）—— 简介吴恩达机器学习（二）—— 线性回归吴恩达机器学习（三）—— Logisitic回归吴恩达机器学习（四）—— 正则化吴恩达机器学习（五）—— 神经网络吴恩达机器学习（六）—— 神经网络的学习吴恩达机器学习（七）—— 应用机器学习的建议吴恩达机器学习（八）—— 机器学习系统的设计吴恩达机器学习（九）—— 支持向量机吴恩达机器学习（十）—— 聚类吴恩达机器学习（十一）—— 降维吴恩达机器学习（十二）——

机器学习课程总结一、有监督学习（Supervised learning）1. 线性回归（Linear regression）2. 逻辑回归（Logistic regression）3. 神经网络（Neural Networks）4. 支持向量机（Support Vector Machines）二、无监督学习（Unsupervised learning）1. K-means算法2. PCA主成分分析三、具体应用实例1. 手写数字识别2. 人脸图像压缩3. 异常检测（Anomaly detection）4. 推

应用实例：图片文字识别1. 问题描述和流水线2. 滑动窗口3. 获取大量数据：人工数据合成4. 上限分析：流水线的哪个模块最有改进价值  学习图片文字识别的应用实例要做的事情：展示一个复杂的机器学习系统是如何组合起来的；介绍机器学习流水线（machine learning pipeline）的有关概念以及如何分配资源来对下一步的计划作决定；通过介绍photo OCR（photo Optical Charater Recognition 照片光学字符识别）问题，明白如何将机器学习应用到计算机视觉中及

大规模机器学习1. 大型数据集的学习2. 随机梯度下降3. 小批量梯度下降4. 随机梯度下降收敛5. 在线学习6. 映射化简和数据并行1. 大型数据集的学习  " It’s not who has the best algorithm that wins. It’s who has the most data. "所以说，要想得到一个高效的机器学习系统的最好方式之一，就是用一个低偏差的学习算法，然后用很多数据来训练它。  但是用很大的数据集也有自己的问题，特别是计算量的问题。假设训练集大小为m=100

推荐系统1. 问题规划2. 基于内容的推荐算法3. 协同过滤4. 协同过滤算法5. 向量化：低秩矩阵分解6. 均值归一化1. 问题规划  推荐系统是机器学习中的一个重要应用。  在机器学习中，针对一些问题，有算法可以为系统自动学习一套好的特征。因此，不要试图手动设计，但手写代码是我们目前为止常干的事情。有一些设置，我们可以有一个算法，仅仅学习其使用的特征，推荐系统就是类型设置的一个例子。  电影预测评分的例子如下。假使我们是一个电影供应商，现在有5部电影和4个用户，要求用户为电影打分。  从上表

异常检测1. 问题的动机2. 高斯分布3. 算法4. 开发和评价异常检测系统5. 异常检测与监督学习对比6. 选择特征7. 多元高斯分布8. 使用多元高斯分布进行异常检测1. 问题的动机  异常检测是机器学习算法的一个常见应用，这种算法的一个有趣之处在于：它虽然主要用于非监督学习，但从某些角度来看，又类似于一些监督学习问题。  一个异常检测的例子：假设作为一个飞机引擎制造商，当我们生产的飞机引擎从生产线上流出时，我们需要进行QA(质量控制测试)，而作为这个测试的一部分，我们测量了飞机引擎的一些特征变量

降维1. 动机1：数据压缩2. 动机2：数据可视化3. 主成分分析问题规划4. 主成分分析算法5. 重建压缩表示6. 主成分数量的选择7. 应用PCA的建议1. 动机1：数据压缩  数据压缩不仅能对数据进行压缩，使得数据占用较少的内存或硬盘空间，还能让我们对学习算法进行加速。  假使我们要采用两种不同的仪器来测量一些东西的尺寸，其中一个仪器测量结果x1x_{1}x1​的单位是厘米，另一个仪器测量的结果x2x_{2}x2​是英寸，我们希望将测量的结果作为我们机器学习的特征，如下图所示。现在的问题的是，两

聚类1. 无监督学习：简介2. K-均值算法3. 优化目标4. 随机初始化5. 选择聚类数1. 无监督学习：简介在典型的监督学习中，我们有一个有标签的训练集，目标是找到能够区分正样本和负样本的决策边界。与此不同的是，在无监督学习中，我们需要将一系列无标签的训练数据输入到一个算法中，然后让这个算法为我们找到训练数据的内在结构。下图中的无标签数据集看起来可以分成两个分开的点集（称为簇），能够划分这些点集的算法，就被称为聚类算法。有监督学习有标签数据集：{(x(1),y(1)),(x(2),y(2))

支持向量机1. 优化目标2. 大间距的直观理解3. 大间距分类器背后的数学原理4. 核函数5. 使用支持向量机1. 优化目标  与Logistic回归和神经网络相比，支持向量机（SVM）在学习复杂的非线性方程时提供了一种更为清晰、更加强大的方式。  接下来，我们从Logistic回归开始展示我们如何一点一点修改来得到本质上的支持向量机。  Logistic回归模型的假设函数是hθ(x)=g(θTx)=11+e−θTxh_{\theta }(x)=g(\theta ^{T}x)=\frac{1}{1+

机器学习系统的设计1. 优先处理的工作：垃圾邮件分类例子2. 误差分析3. 偏斜类的误差度量4. 查准率和查全率之间的权衡5. 机器学习的数据1. 优先处理的工作：垃圾邮件分类例子  在实际的工作过程中，我们应该明白哪些事情要优先处理，接下来我们以一个垃圾邮件分类器算法为例子进行讨论。为了解决这样一个问题，我们首先要做的决定是如何选择并表达特征向量 x x x。我们可以选择一个由100个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否在邮件中出现来获得我们的特征向量（出现为1，不出现为0），尺寸为1

应用机器学习的建议1. 决定下一步做什么2. 评估假设函数3. 模型选择和训练、验证、测试集4. 诊断偏差和方差5. 正则化和偏差/方差6. 学习曲线7. 决定下一步做什么1. 决定下一步做什么  假设我们正在开发一个机器学习系统，或者想试着改进一个机器学习系统的性能，那么我们该如何去决定接下来要选择哪条道路呢？  看一个例子，假设我们已经实现了预测房价的正则化线性回归，也就是最小化代价函数的值，但是当我们运用训练好了的模型来预测未知数据的时候发现存在较大的误差，我们下一步需要做什么？使用更多的训

文章目录1. 代价函数2. 反向传播算法3. 反向传播算法的直观理解4. 实现注意：展开参数5. 梯度下降6. 随机初始化7. 综合起来8. 自动驾驶  神经网络是当下最强大的学习算法之一。接下来讨论一个能在给定训练集时为神经网络拟合参数的学习算法。1. 代价函数  神经网络在分类问题中的应用:  首先引入一些标记方法：假设神经网络的训练样本有 m m m个，每个包含一组输入xxx和一组输出yyy，LLL表示神经网络层数，SlS_{l}Sl​ 表示第lll层的单元数即神经元的数量（不包含第lll层

文章目录1. 非线性假设2. 神经元和大脑3. 模型表示I4. 模型表示II5. 多类别分类神经网络最初是一个生物学的概念，一般是指大脑神经元、触点、细胞等组成的网络，用于产生意识，帮助生物思考和行动，后来人工智能受神经网络的启发，发展出了人工神经网络。人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称连接模型（Connection Model），它是一种模仿动物神经网络行为特征进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程

文章目录1. 过拟合的问题2. 代价函数3. 线性回归的正则化4. Logistic回归的正则化机器学习中的正则化是一种为了减小测试误差的行为。我们在搭建机器学习模型时，最终目的是让模型在面对新数据的时候，可以有很好的表现。当用比较复杂的模型（比如神经网络）去拟合数据时，很容易出现过拟合现象，这会导致模型的泛化能力下降，这时候我们就需要使用正则化技术去降低模型的复杂度，从而改变模型的拟合度。1. 过拟合的问题正则化可以改善或者减少过度拟合的问题。过拟合的问题就是指我们有非常多的特征，通过学习得到的模

文章目录1. 分类问题2. 假设表示Logistic回归又称Logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。1. 分类问题我们讨论的是要预测的变量y是一个离散值情况下的分类问题。分类问题中，我们尝试预测的是结果是否属于某一个类。分类问题的例子有：判断一封电子邮件是否是垃圾邮件; 判断一次金融交易是否是欺计；判断一个肿瘤是恶性的还是良性的。我们预测的变量 y∈{0,1}y \in\{0,1\}y∈{0,1}，其中 0 表示负类 (Negative

线性回归是利用数理统计中回归分析来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。一、单变量线性回归单变量线性回归(Univariate linear regression)又称一元线性回归(Linear regression with one variable)。1

机器学习(Machine Learning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径。 例如，让机器人整齐有序的打扫房子，怎样去实现？我们要做的是让机器人观察我们完成任务的过程，从而从中学习。 人工智能、机器学...