机器学习
Leon.ENV
Never Limit
展开
-
机器学习-吴恩达-笔记-15-总结
【此为本人学习吴恩达的机器学习课程的笔记记录,有错误请指出!】机器学习是一门对科技、工业产生深远影响的重要学科,而现在,你已经完全具备了应用这些机器学习工具来创造伟大成就的能力。详细内容请看【吴恩达-机器学习】视频。完...原创 2020-11-17 09:39:21 · 320 阅读 · 0 评论 -
机器学习-吴恩达-笔记-14-应用实例:图片文字识别
问题描述和流程图图像文字识别应用,是从一张给定的图片中识别文字。这比从一份扫描文档中识别文字要复杂的多。为了完成这样的工作,需要采取如下步骤:1.文字侦测( Text detection) ——将图片上的文字与其他环境对象分离开来2.字符切分( Character segmentation) ——将文字分割成一个个单一的字符3.字符分类( Character classification) ——确定每一个字符是什么 可以用任务流程图来表达这个问题,每一项...原创 2020-11-17 09:39:08 · 1883 阅读 · 0 评论 -
机器学习-吴恩达-笔记-13-大规模机器学习
大型数据集的学习如果模型算法具有欠拟合现象,增加数据集可以得到较好的预测效果,那么怎样应对一个有 100 万条记录的训练集?以线性回归模型为例,每一次梯度下降迭代,都需要计算训练集的误差的平方和,如果学习算法需要 20 次迭代,这已经是非常大的计算代价。首先应该做的事是去检查一个这么大规模的训练集是否真的必要,也许只用 1000个训练集也能获得较好的效果,可以绘制学习曲线来帮助判断。批量梯度下降批量梯度下降法是最原始的形式,它是指在每一次迭代时使用所有...原创 2020-11-17 09:38:50 · 1814 阅读 · 0 评论 -
机器学习-吴恩达-笔记-12-推荐系统
问题形式化我们从一个例子开始定义推荐系统的问题。假使我们是一个电影供应商,我们有 5 部电影和 4 个用户,我们要求用户为电影打分。如图:前三部电影是爱情片,后两部则是动作片,可以看出 Alice 和 Bob 似乎更倾向与爱情片,而 Carol 和 Dave 似乎更倾向与动作片。 我们希望构建一个算法来预测他们每个人可能会给他们没看过的电影打多少分,并以此作为推荐的依据。如上图中的?号就是待预测的评分(这里使用该用户评分的平均值作预测值)。下面引入一些标记:...原创 2020-11-17 09:38:37 · 1960 阅读 · 0 评论 -
机器学习-吴恩达-笔记-11-异常检测
问题的动机异常检测(Anomaly detection)问题是机器学习算法的一个常见应用。这种算法的一个有趣之处在于:它虽然主要用于非监督学习问题,但从某些角度看,它又类似于一些监督学习问题。例子: 判断飞机引擎是否有某种异常,引擎特征有热量、振动等。如图:上图中,在蓝色圈内的数据属于该组数据的可能性 ????(????) 较高,而越是偏远的数据,其属于该组数据的可能性 ????(????) 就越低。这种方法称为密度估计,表达如下:高斯分布高斯原创 2020-11-17 09:38:22 · 1851 阅读 · 0 评论 -
机器学习-吴恩达-笔记-10-降维
动机一:数据压缩这里将谈论第二种类型的无监督学习问题,称为降维。降维的目的:数据压缩(减少特征)、节省计算资源(内存、磁盘)、加快学习速度。如将数据从二维降到一维:将数据从三维降至二维:这样的处理过程可以被用于把任何维度的数据降到任何想要的维度,例如将 1000 维的特征降至 100 维。动机二:数据可视化在许多机器学习问题中,如果能将数据可视化,降维是不错的方法。如果要将 50 维的数据可视化是不可能的,使用降维的...原创 2020-11-16 16:06:26 · 2026 阅读 · 1 评论 -
机器学习-吴恩达-笔记-9-聚类
无监督学习:简介无监督学习就是让计算机学习无标签数据,而不是此前的标签数据。如图:K-均值算法(K-Means)K-均值是最普及的聚类算法,算法接受一个未标记的数据集,然后将数据聚类成不同的组。K-均值是一个迭代算法,假设我们想要将数据聚类成 n 个组,其方法为:步骤一:首先选择????个随机的点,称为聚类中心( cluster centroids);步骤二:对于数据集中的每一个数据,按照距离????个中心点的距离,将其与距离最近的中心点关联起来,与同一.原创 2020-11-16 15:59:42 · 1857 阅读 · 0 评论 -
机器学习-吴恩达-笔记-8-支持向量机
优化目标为了描述支持向量机,我们将会从逻辑回归开始展示如何一点一点修改来得到本质上的支持向量机。这里调整一下逻辑回归的代价函数,使用紫色画的曲线表示新的代价函数,这应该同逻辑回归代价函数做着类似的事情,但事实上,在之后的优化问题中,这会变得更坚定,并且为支持向量机带来计算上的优势。现在让我给这两个代价函数命名,左边的函数,我称之为cos????1(????),同时,右边函数我称它为cos????0(????)。最后得到的支持向量机的代价函数,这和逻辑回归的代价函数原创 2020-11-16 15:53:58 · 1911 阅读 · 0 评论 -
机器学习-吴恩达-笔记-7-机器学习系统的设计
【此为本人学习吴恩达的机器学习课程的笔记记录,有错误请指出!】误差分析在本次课程中,我们将会讲到误差分析( Error Analysis)的概念。如果你准备研究机器学习的东西,或者构造机器学习应用程序,最好的实践方法不是建立一个非常复杂的系统,拥有多么复杂的变量,而是构建一个简单的算法,这样你可以很快地实现它。构建一个学习算法的推荐方法为:1. 从一个简单的能快速实现的算法开始,实现该算法并用交叉验证集数据测试这个算法。2. 绘制学习曲线,决定是增加更多数据,或者添加更多特征,还是其它选原创 2020-11-16 15:42:15 · 1749 阅读 · 0 评论 -
机器学习-吴恩达-笔记-6-应用机器学习的建议
当我们运用训练好了的模型来预测未知数据的时候发现有较大的误差,我们下一步可以做什么?获得更多的训练实例——通常是有效的, 但代价较大, 下面的方法也可能有效, 可考虑先采用下面的几种方法:1.尝试减少特征的数量2.尝试获得更多的特征3.尝试增加多项式特征4.尝试减少正则化程度????5.尝试增加正则化程度????我们不应该随机选择上面的某种方法来改进我们的算法,而是运用一些机器学习诊断法来帮助我们知道上面哪些方法对我们的算法是有效的。评估一个假设(假设函数)原创 2020-11-16 15:37:59 · 1805 阅读 · 0 评论 -
机器学习-吴恩达-笔记-5-神经网络学习
代价函数首先引入一些便于稍后讨论的新标记方法:????:训练样本的数量????:神经网络的层数????????:该层神经元个数(不包含偏置单元)????????:最后一层中处理单元个数将神经网络的分类定义为两种情况:二类分类和多类分类,二类分类: ????????= 1, ???? = 0 ???????? 1表示哪一类;????类分类: ????????= ????, ????????= 1表示分到第 i 类; (???? > 2)我们知道逻辑原创 2020-11-16 15:31:27 · 1823 阅读 · 0 评论 -
机器学习-吴恩达-笔记-4-神经网络描述
非线性假设我们之前学的,无论是线性回归还是逻辑回归都有这样一个缺点,即:当特征太多时,计算的负荷会非常大。下面是一个例子:当我们使用????1, ????2 的多次项式进行预测时,可以应用的很好。使用多项式的非线性模型虽然可以较好的预测效果,但是如果特征数量非常多,例如100个特征变量,通过特征的两两组合,将接近5000个组合而成的特征。 这对一般的逻辑回归来说需要计算的特征太多了。如果我们希望训练一个模型来识别视觉对象, 然后利用这些图片上一个个像素的值(饱和度原创 2020-11-16 15:24:29 · 1891 阅读 · 0 评论 -
机器学习-吴恩达-笔记-3-正则化
过拟合问题我们学习了线性回归和逻辑回归,它们能够有效地解决许多问题,但是当将它们应用到某些特定的机器学习应用时,会遇到过拟合(over-fitting)问题,可能会导致它们效果很差,而正则化(regularization) 可以改善或者减少过度拟合问题。下图是一个回归问题的例子:第一个模型是一个线性模型(欠拟合),不能很好地适应我们的训练集;第三个模型是一个四次方的模型(过拟合),过于强调拟合训练集,对新数据的泛化能力差;第二个模型,似乎最合适,很好拟合了训练集,...原创 2020-11-16 15:07:18 · 1800 阅读 · 0 评论 -
机器学习-吴恩达-笔记-2-逻辑回归
分类问题在分类问题中,你要预测的变量 ???? 是离散的值,我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法,这是目前最流行使用最广泛的一种学习算法。在分类问题中,我们尝试预测的是结果是否属于某一个类(例如正确或错误)。分类问题的例子有: 判断一封电子邮件是否是垃圾邮件; 判断一次金融交易是否是欺诈; 判断一个肿瘤是恶性的还是良性的。我们从二元的分类问题开始讨论。我们将因变量(dependen...原创 2020-11-16 14:52:43 · 1865 阅读 · 0 评论 -
机器学习-吴恩达-笔记-1-线性回归
线性回归是预测连续值常用的算法,属于监督学习算法。模型表示如预测住房价格,先收集已有的数据集,数据集包含房屋尺寸和售出价格。现在以房屋尺寸作为 x 轴,房屋售出价格作为 y 轴,画出房屋尺寸和售出价格的关系图:从图中看出,随着x(房屋尺寸)的变大,y(房屋价格)也变高,我们可以先画出一条直线,这条直线大致可以代表房屋尺寸和房屋价格的趋势关系,这样我们就可以根据房屋尺寸预测出房屋价格。如要预测出尺寸是1250平方的房子的价格,根据该直线,预测房子价格大概是...原创 2020-11-16 14:38:34 · 2053 阅读 · 0 评论