吴恩达机器学习
阿尔基亚
这个作者很懒,什么都没留下…
展开
-
吴恩达机器学习笔记(1)——绪论
**一、什么是机器学习** 1.Arthur Samuel提出的定义: “The field of study that gives computers the ability to learn without being explicitly programmed.” 2.Tom Mitchell提出的定义: “A computer program is said to le...原创 2018-08-26 11:22:24 · 390 阅读 · 0 评论 -
吴恩达机器学习笔记(10)——支持向量机SVM
一、优化目标支持向量机(Support Vector Machine ,SVM)是另一种监督式学习算法。它有时候更加的简洁和强大。我们将逻辑回归中的代价函数转化一下,并使用两段直线来尝试替代曲线,这被称作hinge loss 函数。我们把第一项定义为cost1(z),第二项定义为cost0(z),那么可以说cost1(z)是当y=1时进行分类的代价函数,cost0(z)是当y=...原创 2019-03-02 21:57:50 · 487 阅读 · 0 评论 -
吴恩达机器学习笔记(12)——降维(Dimensionality Reduction)
这里介绍第二种无监督学习方法,叫做降维(Dimensionality Reduction)一、目标1:数据压缩Data Compression由于可能存在许多冗余特征量,或者说特征高度相关,所以需要减少特征量的数量。so如果允许我们通过投影这条绿线上所有的原始样本,来近似原始的数据集,那么我只需要用一个数就能表示每个训练样本的位置,这样就能把内存的需求减半,同时这将允许我们的学习算法运行的...原创 2019-03-05 16:29:23 · 674 阅读 · 0 评论 -
吴恩达机器学习笔记(9)——机器学习系统设计
**一、机器学习系统的设计**1、确定执行的优先级我们以垃圾邮件分类为例,途径可以有:收集大量的数据(例如,honeypot)选取更多复杂的特征量(将邮件标题,邮件单词也考虑进来)开发更为复杂的算法来处理输入(例如一些故意的拼写错误,m1ss, hell0等)但是我们很难说,对于一个具体的问题,哪种方法可能会有效果。2、误差分析对一个具体的机器学习问题,由于无法简单的确定优...原创 2019-02-28 20:20:18 · 189 阅读 · 0 评论 -
吴恩达机器学习笔记(8)——模型评估与机器学习诊断法
一、如何改进一个机器学习算法假设你已经训练出一个机器学习算法,但是效果不太好,那么有以下几种改进方法:1、获得更多的训练数据2、原创 2018-12-19 18:10:05 · 405 阅读 · 1 评论 -
吴恩达机器学习笔记(7)——神经网络的一个学习算法
一、代价函数首先我们定义:L = 神经网络的总层数si = 第L层的单元数量(不含偏置单元)K = 输出单元/类型的数量hΘ(x)k = 假设函数中的第k个输出因为逻辑回归里的代价函数为:推广到神经网络中:二、代价函数的优化算法——反向传播算法(backpropagation algorithm)1、含义神经网络的代价函数已经求出来了,那么现在要进行min J也...原创 2018-12-03 20:06:20 · 441 阅读 · 0 评论 -
吴恩达机器学习笔记(6)——神经网络(Neural Networks)
一、非线性假设(Non-linear hypotheses)非线性假设采用神经网络的原因:当我们对如下数据进行使用非线性回归分类时,我们可以使用包含很多非线性项的逻辑回归函数,来回归分类。下面是只有X1, X2两个特征的逻辑回归函数。但是,如果数据包含上百个特征时呢?例如包含上百个特征的房屋分类问题,或者图像识别领域。我们要处理million级别的数据。二、神经元和大脑(Neuron...原创 2018-11-28 18:01:31 · 318 阅读 · 0 评论 -
吴恩达机器学习笔记(5)——正则化(Regularization)
一、过拟合问题(Overfitting)我们知道,机器学习训练的目的是为了让模型更好的拟合实际情况,从而指导我们进行预测。评价一个模型拟合度是否优良的参考之一是它与实际数据集的偏差程度,我们用代价函数来定量,一般代价函数越小越好。那么,是否会有一些意外情况出现呢?1、线性回归的情况:对于图中的数据集,分别使用了不同次数的多项式进行拟合:线性回归模型下,模型预测与数据集有一些差距,但是大方向...原创 2018-11-25 11:43:38 · 1918 阅读 · 0 评论 -
吴恩达机器学习笔记(4)——逻辑回归(logistic regression)
**一、分类问题**首先来看一个例子,用肿瘤的大小来预测肿瘤是良性或者恶性。这个问题的输出只有两个值——良性(1)和恶性(0),通常称之为分类问题。如果在此处我们使用线性回归来处理这个问题。那么如果加入最右的那个点,那么直线拟合就从红色斜线变成了蓝色斜线,也就出现了预测的误差。因此线性回归不适合于分类问题。另外,使用线性回归处理分类问题中常见的问题还有:分类问题的输出值y=0 or 1....原创 2018-11-22 20:00:37 · 282 阅读 · 0 评论 -
吴恩达机器学习笔记(3)——多变量线性回归(Multivariate Linear Regression)
一、多元线性回归的假设形式多元线性回归的假设可表示为: 另外,我们定义一个额外的第0个特征向量x0=1,并将特征向量和参数都表示为矩阵形式,则方程变为: 二、多元梯度下降法多元线性回归的代价函数为: 其中,x(i)j=第i个训练样例中第j个特征量的值。PS:一些实用技巧(通过预处理,让初始的特征量具有同等的地位,才能让机器学习算法更快地学习得到...翻译 2018-08-28 16:42:26 · 465 阅读 · 0 评论 -
吴恩达机器学习笔记(2)——单变量线性回归(Univariate linear regression)
一、模型描述 监督学习最常见的两类问题: 1、回归:预测一个具体的数值输出 2、分类:预测离散值输出先来看机器学习是如何进行的: 其中,h表示假设函数: θ是参数,下一节我们谈谈如何选择这两个参数值。二、代价函数(Cost function)我们现在有了数据集,并且可以通过改变参数来调整h函数,那么,我们如何定义什么是“更好”的h函数呢? 一般而言,我们通过调整...原创 2018-08-27 11:28:07 · 4495 阅读 · 0 评论 -
吴恩达机器学习笔记(11)——无监督学习与K-Means算法
一、无监督学习无监督学习与监督式学习相反,数据并不带有任何标签。算法要找到隐含在数据中的结构。比如将数据分为簇状的,就被称为聚类算法(clustering),这是一个典型的无监督学习算法。聚类算法可以用于:市场划分社会关系网络分析计算机集群聚类天文数据聚类二、K-Means算法在聚类问题中,我们会给定一组未加标签的数据集,同时希望有一个算法能够自动的将这些数据分成有密切关...原创 2019-03-04 11:31:01 · 323 阅读 · 0 评论