机器学习
机器学习总结
倚剑笑紅尘
教练,我想学kaldi!
展开
-
吴恩达深度学习第五章序列模型——第三周序列模型和注意力机制
序列模型和注意力机制Seq2Seq 模型Seq2Seq(Sequence-to-Sequence)模型能够应用于机器翻译、语音识别等各种序列到序列的转换问题。一个 Seq2Seq 模型包含编码器(Encoder)和解码器(Decoder)两部分,它们通常是两个不同的 RNN。如下图所示,将编码器的输出作为解码器的输入,由解码器负责输出正确的翻译结果。提出 Seq2Seq 模型的相关...原创 2019-04-21 00:27:40 · 1018 阅读 · 0 评论 -
吴恩达深度学习第五章序列模型——第二周自然语言处理与词嵌入
词嵌入one-hot 向量将每个单词表示为完全独立的个体,不同词向量都是正交的,因此单词间的相似度无法体现。换用特征化表示方法能够解决这一问题。我们可以通过用语义特征作为维度来表示一个词,因此语义相近的词,其词向量也相近。将高维的词嵌入“嵌入”到一个二维空间里,就可以进行可视化。常用的一种可视化算法是 t-SNE 算法。在通过复杂而非线性的方法映射到二维空间后,每个词会根据语义和相关程...原创 2019-04-20 15:07:47 · 583 阅读 · 0 评论 -
吴恩达深度学习第五章序列模型——第一周循环序列模型
循环序列模型自然语言和音频都是前后相互关联的数据,对于这些序列数据需要使用循环神经网络(Recurrent Neural Network,RNN)来进行处理。使用 RNN 实现的应用包括下图中所示:数学模型对于一个序列数据x,用符号x〈t〉来表示这个数据中的第t个元素,用y〈t〉来表示第t个标签,用Tx和Ty来表示输入和输出的长度。对于一段音频,元素可能是其中的几...原创 2019-04-19 11:51:05 · 535 阅读 · 0 评论 -
吴恩达深度学习第四章卷积神经网络——第四周特殊应用:人脸识别和神经风格转换
特殊应用:人脸识别和神经风格转换人脸识别人脸验证(Face Verification)和人脸识别(Face Recognition)的区别:人脸验证:一般指一个一对一问题,只需要验证输入的人脸图像是否与某个已知的身份信息对应; 人脸识别:一个更为复杂的一对多问题,需要验证输入的人脸图像是否与多个已知身份信息中的某一个匹配。一般来说,由于需要匹配的身份信息更多导致错误率增加,人脸识别...原创 2019-04-18 00:21:49 · 665 阅读 · 0 评论 -
吴恩达深度学习第四章卷积神经网络——第三周目标检测
定义目标检测是计算机视觉领域中一个新兴的应用方向,其任务是对输入图像进行分类的同时,检测图像中是否包含某些目标,并对他们准确定位并标识。目标定位定位分类问题不仅要求判断出图片中物体的种类,还要在图片中标记出它的具体位置,用边框(Bounding Box,或者称包围盒)把物体圈起来。一般来说,定位分类问题通常只有一个较大的对象位于图片中间位置;而在目标检测问题中,图片可以含有多个对象,甚...原创 2019-04-14 13:35:52 · 1442 阅读 · 0 评论 -
吴恩达深度学习第四章卷积神经网络——第二周深度卷积网络:实例探究
讲到的经典 CNN 模型包括:LeNet-5 AlexNet VGG此外还有 ResNet(Residual Network,残差网络),以及 Inception Neural Network。经典卷积网络LeNet-5特点:LeNet-5 针对灰度图像而训练,因此输入图片的通道数为 1。 该模型总共包含了约 6 万个参数,远少于标准神经网络所需。 典型的 LeN...原创 2019-04-13 17:06:02 · 866 阅读 · 0 评论 -
吴恩达深度学习第四章卷积神经网络——第一周卷积神经网络基础
1.计算机视觉计算机视觉(Computer Vision)的高速发展标志着新型应用产生的可能,例如自动驾驶、人脸识别、创造新的艺术风格。人们对于计算机视觉的研究也催生了很多机算机视觉与其他领域的交叉成果。一般的计算机视觉问题包括以下几类:图片分类(Image Classification); 目标检测(Object detection); 神经风格转换(Neural Style Tra...原创 2019-04-12 18:43:17 · 627 阅读 · 0 评论 -
吴恩达深度学习第三章第二周——机器学习策略(2)
一、进行误差分析以猫分类器为例,假设我们的模型表现的还不错,但是依旧存在误差,预测后错误标记的数据中有一部分狗图片被错误的标记成了猫。我们不能盲目的直接去训练狗的分类器,以能更好的区分猫和狗。我们首先需要去对错误的样本进行分析,假如错误分类的100个样本中,只有5个狗样本被错误的标记成了猫,那么经过你的完善,你的模型能够区分猫和狗,你的效率也只是提高了5%。所以对误差进行分析就显得比较重要...原创 2019-04-11 20:32:53 · 511 阅读 · 0 评论 -
吴恩达深度学习第三章第一周——机器学习策略
一、为什么是ML策略(机器学习策略)假如我们在构建一个喵咪分类器,数据集就是上面几个图,训练之后准确率达到90%。虽然看起来挺高的,但是这显然并不具一般性,因为数据集太少了。那么此时可以想到的ML策略有哪些呢?总结如下:收集更多的数据 收集更多不同的训练集 结合梯度下降训练算法更长时间 尝试Adam算法 尝试更大的网路 尝试小一点的网络 试着用一下dropout算法 加上...原创 2019-04-11 10:06:49 · 305 阅读 · 0 评论 -
吴恩达深度学习第二章第二周——超参数调试、Batch正则化和程序框架
一、调试处理week2中提到有如下的超参数:α 学习效率 步长 hidden units 隐藏单元 mini-batch size 小批量梯度下降的步长 β 指数加权平均的系数 layers 隐藏层的层数 learning rate decay 学习效率的衰减率 β1,β2,ε adam算法的系数 (一般情况β1=0.9,β2=0.999,ε=10^...原创 2019-04-10 11:40:01 · 201 阅读 · 0 评论 -
吴恩达深度学习第二章第二周——各种梯度优化算法的总结
在这一周的视频中,讲了很多的优化算法,而且名字多比较难记,有些算法又有类似之处,为了之后不混淆,决定特地整理下每周的各种梯度优化算法,做一个总结。于4.8日进行更新:在四月初写完这篇博客,在月底阅读关于VGG的论文时,由于其需要用到带动量的小批量梯度下降,所以由来重新复习相应的知识点,并找了一篇将梯度算法优缺点整理较为完善的文章作为参考:传送门1. Mini-batch(小批量)梯度下降法...原创 2019-04-09 12:09:29 · 355 阅读 · 0 评论 -
吴恩达深度学习第二章第一周——Dropout正则化的个人理解
学习了吴恩达机器学习第二章改善深层神经网络:超参数调试、正则化以及优化的第一周之后发现对其中的部分知识仍然不是很理解,因此打算对其中的一些难点重新去整理。又因为所有的内容太多,所以这边我打算只做难点的整理。1) Dropout("随机失活")操作过程1.每层每个节点以某一概率(这里以50%为例)被选中为需要删除的节点(如下图中标上X的节点)2.被选中为删除的节点,不仅要删除节点,与...原创 2019-04-08 15:23:50 · 653 阅读 · 1 评论 -
机器学习第十九章——应用举例:照片OCR
一. Photo OCR1. Problem Description and Pipeline 问题描述图像文字识别应用所作的事是,从一张给定的图片中识别文字。这比从一份扫描文档中识别文字要复杂的多为了完成这样的工作,需要采取如下步骤:文字侦测(Text detection)——将图片上的文字与其他环境对象分离开来 字符切分(Character segmentation)——将...原创 2019-04-05 22:20:52 · 393 阅读 · 0 评论 -
机器学习第十八章——大规模机器学习
一. 大数据集梯度下降如果我们有一个低方差的模型,增加数据集的规模可以帮助你获得更好的结果。我们应该怎样应对一个有100万条记录的训练集?以线性回归模型为例,每一次梯度下降迭代,我们都需要计算训练集的误差的平方和,如果我们的学习算法需要有20次迭代,这便已经是非常大的计算代价。首先应该做的事是去检查一个这么大规模的训练集是否真的必要,也许我们只用1000个训练集也能获得较好的效果,我们...原创 2019-04-05 22:14:57 · 280 阅读 · 0 评论 -
机器学习第十七章——推荐系统
一.预测电影收视率以预测第3部电影第1个用户可能评的分数为例子。首先我们用表示爱情浪漫电影类型,表示动作片类型。上图左表右侧则为每部电影对于这两个分类的相关程度。我们默认。则第一部电影与两个类型的相关程度可以这样表示:。然后用表示第 j 个用户对于该种类电影的评分。这里我们假设已经知道(详情下面再讲),那么我们用即可计算出测第3部电影第1个用户可能评的分数。...原创 2019-04-05 21:57:13 · 429 阅读 · 0 评论 -
机器学习第十六章——异常检验
一.密度估计假如要更为正式定义异常检测问题,首先我们有一组从到m个样本,且这些样本均为正常的。我们将这些样本数据建立一个模型 p(x) , p(x) 表示为 x 的分布概率。那么假如我们的测试集概率 p 低于阈值,那么则将其标记为异常。异常检测的核心就在于找到一个概率模型,帮助我们知道一个样本落入正常样本中的概率,从而帮助我们区分正常和异常样本。高斯分布(Gauss...原创 2019-04-05 21:37:34 · 485 阅读 · 0 评论 -
机器学习第十五章——降维
一. 目标我们很希望有足够多的特征(知识)来保准学习模型的训练效果,尤其在图像处理这类的任务中,高维特征是在所难免的,但是,高维的特征也有几个如下不好的地方:学习性能下降,知识越多,吸收知识(输入),并且精通知识(学习)的速度就越慢。 过多的特征难于分辨,你很难第一时间认识某个特征代表的意义。 特征冗余,如下图所示,厘米和英尺就是一对冗余特征,他们本身代表的意义是一样的,并且能够相互转...原创 2019-04-05 20:34:07 · 475 阅读 · 0 评论 -
机器学习第十四章——无监督学习
聚类1. 定义无监督学习,也就是不受监督的学习,一种自由的学习方式。该学习方式不需要先验知识进行指导,而是不断地自我认知,自我巩固,最后进行自我归纳,在机器学习中,无监督学习可以被简单理解为不为训练集提供对应的类别标识(label),其与有监督学习的对比如下:有监督学习(Supervised Learning)下的训练集:无监督学习(Unsupervised Learning)...原创 2019-04-05 15:43:57 · 690 阅读 · 1 评论 -
机器学习第十三章——支持向量机
优化目标在逻辑回归中,我们的预测函数为:对于每一个样本 (x,y) 而言(注意是每一个),其代价函数为:那么当 y=1 的时候,,其代价函数的图像入左下图所示。当 y=0 的时候,,其代价函数的图像入右下图所示。其中是一个常数可以去掉,因为对于代价函数求最小值,然后去参数没有影响,然后我们将带入cost();对于支持向量机而言,的时候:...原创 2019-04-05 14:43:48 · 971 阅读 · 0 评论 -
机器学习第十一章——应用机器学习的建议
评估学习算法想要降低预测误差,即提高预测精度,我们往往会采用这些手段: 采集更多的样本(解决高方差问题) 错误的认为样本越多越好,其实数据多并不是越好。 降低特征维度,减少一些特征,解决过拟合问题(解决高方差问题) 降维可能去掉了有用的特征。 采集更多的特征,增加一些额外的特征(解决高偏差问题) 增加了计算负担,也可能导致过拟合。 进行高次多项式回归,...原创 2019-04-04 22:03:40 · 399 阅读 · 0 评论 -
机器学习第十章——神经网络参数的反向传播算法
代价函数将神经网络的分类定义为两种情况:二类分类和多元分类 二类分类 多元分类 y=0 or 1 1个输出结点 k个输出结点 代价函数: 代价函数: 逻辑回归问题中我们的代价函数为:神经网络的代...原创 2019-04-04 20:30:49 · 791 阅读 · 0 评论 -
机器学习第九章——神经网络学习
动机我们之前学的,无论是线性回归还是逻辑回归都有这样一个缺点,即:当特征太多时,计算的负荷会非常大人工神经网络是对具有很多特征的复杂问题进行机器学习的一种方法。神经网络人工神经网络是对生物神经网络的一种简化的模拟。那么,我们先从生物中的神经元入手,进而了解神经网络的工作方式。用一个简单的模型来模拟神经元的工作,我们将神经元模拟成一个逻辑单元:可以将其看成输入神经树突,...原创 2019-04-04 17:10:29 · 495 阅读 · 0 评论 -
机器学习第八章——正则化
如何解决过拟合问题考虑从预测 y 的问题。下面最左边的图显示了将拟合到数据集的结果。我们看到这些数据并不是直线的,所以这个数据并不是很好。相反,如果我们添加了一个额外的特征 x2,并且拟合,那么我们获得的数据稍微更适合,如上图。但是并不是添加的多项式越多越好。但是,添加太多特征也是一个危险:最右边的数字是拟合五阶多项式的结果。我们看到即使拟合曲线完美地传递了数据,...原创 2019-04-04 16:37:32 · 261 阅读 · 0 评论 -
机器学习第七章——逻辑回归(第六章对Octave的使用跳过)
一. 分类和假设陈述要尝试分类,一种方法是使用线性回归,并将所有大于0.5的预测值映射为1,将小于0.5的所有预测值映射为0.但是,此方法效果不佳,因为分类实际上不是线性函数。 分类问题就像回归问题一样,除了我们现在想要预测的值只有少数离散值。线性回归用来解决分类问题,通常不是一个好主意。我们解决分类问题,忽略y是离散值,并使用我们的旧线性回归算法来尝试预测给定的x。但是,构建这种...原创 2019-04-04 15:17:42 · 274 阅读 · 0 评论 -
逻辑回归代价函数求导过程
逻辑函数我们先来看看如何对逻辑函数(Sigmoid函数)求导:代价函数利用上面的结果,借助复合函数求导公式等,可得:向量化形式:转载 2019-04-04 15:05:05 · 819 阅读 · 0 评论 -
机器学习第五章——多变量线性回归(第三四章是线代和配置不再详细总结)
多特征的假设函数:具有多个变量的线性回归也被称为“多元线性回归”。: 训练集第 i 个向量中的第 j 个元素(第 i 行第 j 列): 训练集第 i 个向量(第 i 行): 总共 m 行: 总共 n 列适应这些多特征的假设函数的多变量形式如下:使用矩阵乘法的定义,我们的多变量假设函数可以简洁地表示为:其中多变量梯度下降:代价函数:多个变量的梯度下降,同时更...原创 2019-04-04 14:30:26 · 543 阅读 · 0 评论 -
正规方程推导
矩阵的微分和矩阵的迹(前置知识了解)进行推导之前,需要引入矩阵迹的概念,因为迹是求解一阶矩阵微分的工具。矩阵迹的定义是简单的说就是左上角到右下角对角线上元素的和。接下来有几个性质在下面推导过程中需要用到: , a 是标量 () 更近一步 证明:假设 A 是矩阵, B 是矩阵,则有同理:连起来,即 证明:按照矩阵梯度的定义:假设 A...转载 2019-04-04 14:19:46 · 455 阅读 · 0 评论 -
机器学习第二章——单变量线性回归
假设函数:在给定训练集的情况下,学习函数h:X→Y,使得h(x)是y的相应值的“好”预测器。由于历史原因,这个函数h被称为假设。通过输入住房面积 x,通过学习好的函数,输出房子的估价。一种可能的表达方式为:,因为只含有一个特征/输入变量,因此这样的问题叫作单变量线性回归问题。代价函数:代价函数是线性回归中的一个应用,在线性回归中,要解决的一个问题就是最小化问题。假设在一元线...原创 2019-04-04 13:51:45 · 165 阅读 · 0 评论 -
机器学习第一章——绪论初识机器学习
机器学习的定义:Arthur Samuel对机器学习的定义为:在进行特定编程的情况下,给予计算机学习能力的领域Tom Mitchell对机器学习的定义为:一个程序被认为能从经验 E 中学习,解决任务 T,达到性能度量值P,当且仅当,有了经验 E 后,经过 P 评判,程序在处理 T 时的性能有所提升。我认为经验E 就是程序上万次的自我练习的经验而任务 T 就是下棋。性能度量值 P 呢,就...原创 2019-04-04 11:17:03 · 297 阅读 · 0 评论