![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习学习笔记
时光机丶
伪文艺理工男
展开
-
《机器学习》学习笔记(二)—线性回归
步骤一:选择模型y=b+∑wi∗xi{y}=b+\sum{w_i*x_i}y=b+∑wi∗xixix_ixi:属性值wiw_iwi:权重—代表各属性在预测中的重要性bbb:偏差值步骤二:训练模型先考虑一种最简单的情形:输入属性的数目只有一个。即数据集D=(xi,yi)(i=1)mD = {(x_i,y_i)}_{(i=1)}^mD=(xi,yi)(i=1)m线性回归试...原创 2019-04-26 14:07:18 · 283 阅读 · 0 评论 -
《机器学习》学习笔记(十)—Tips for 深度学习
在我们训练深度学习神经网络之后,我们应该先判断模型在训练集上的结果,判断是否欠拟合,如果在训练集上的表现不错,再去通过在测试集上的结果考虑过拟合的情况。过拟合的前提是模型在训练集上的表现很好。针对欠拟合的改进措施1、改变激活函数比如说,当激活函数是 sigmoid 时,神经网络越深,训练效果反而更差。原因是 sigmoid 作为激活函数时出现了梯度消失的问题,靠近输入层的参数由于...原创 2019-04-29 10:36:12 · 117 阅读 · 0 评论 -
《机器学习》学习笔记(二十)—支持向量机
支持向量机主要有两部分组成Hinge Loss(铰链损失)和 Kernel Method(核方法)。损失函数输入的数据数据的标签是两类,即 +1 和 -1。在这里取模型的函数为所以分类用的损失函数为:其中定义当计算出的函数值与标签值不相等的时候取1,相等的时候函数值取0。但是这样的得到的函数有一点不好,它无法进行微分,所以我们采用了另外一种函数作为损失函数,即对各种损失函数的...原创 2019-05-05 09:51:15 · 251 阅读 · 0 评论 -
《机器学习》学习笔记(十二)—Why Deep Learning?
深度 VS 宽度在神经元个数相同的情况下,多层神经网络的精度高于单层神经网络。 (深瘦的模型会比浅胖的模型有更好的表达能力。)Modularization—模组化我们在写大型程序时候,会调用各种函数,将程序模块化,这样程序可以完成很多复杂的功能。深的神经网络完成的工作和模块化类似举个图像识别的例子,识别长发男生、长发女生、短发男生和短发女生,如下,由于长发男生样本少,所以模型训练出...原创 2019-04-29 18:37:56 · 190 阅读 · 0 评论 -
《机器学习》学习笔记(十三)—半监督学习
半监督学习与监督学习监督学习中的样本中的是已知的,所以监督学习算法可以在训练集数据中充分使用数据的信息———————————————————————半监督学习的样本中只有R个样本的是已知,U个样本的未知,且通常U远大于R—Transductive learning :将未知标签的数据作为测试集数据—Inductive learning:未知标签的数据不作为测试集数据在实际生活中,...原创 2019-04-30 14:48:49 · 2449 阅读 · 0 评论 -
《机器学习》学习笔记(二十三)—初探强化学习
强化学习的场景智能系统从环境到行为映射的学习,以使奖励信号(强化信号)函数值最大。如果Agent的某个行为策略导致环境正的奖赏(强化信号),那么Agent以后产生这个行为策略的趋势便会加强有一个 agent ,他在一个环境中,观察到一个反馈执行一个行为,这个行为改变了环境的值,agent 得到一个对应的奖励。比如说,在下围棋的时候,落一个子,然后棋盘的环境发生了改变,如果最后赢了这盘...原创 2019-05-08 19:50:46 · 358 阅读 · 0 评论 -
《机器学习》学习笔记(十四)—无监督学习:线性降维
无监督学习介绍监督学习、半监督学习、无监督学习监督学习中的样本 {(xr,y^r)}r=1R\{(x^r,{\hat{y}}^r)\}^R_{r=1}{(xr,y^r)}r=1R 中的 y^\hat{y}y^ 是已知的,所以监督学习算法可以在训练集数据中充分使用数据的信息半监督学习的样本 {(xr,y^r)}r=1R,{xu}u=RR+U\{(x^r,{\hat{y}}^r)\}...原创 2019-04-30 19:09:56 · 457 阅读 · 0 评论 -
《机器学习》学习笔记(二十一)—RNN(循环神经网络)
为什么要用循环神经网络如下图所示是一个填空系统,他需要做的是给定一句话,然后从这句话中选出需要的词填在对应位置的空中,具体来讲如下图所示比如说输入一句 “I would like to arrive Taipei on November 2nd.”那么订票系统给就应该自动的在 目的地出填入 Taipei ,在到达时间填入 November 2nd。我们可以使用一个简单的前向传播网络实现这个功...原创 2019-05-06 14:06:05 · 1196 阅读 · 0 评论 -
《机器学习》学习笔记(二十四)—结构化学习介绍
什么是结构化学习所谓的结构化学习就是输入或者输出具有结构的数据,而在之前的学习之中,输入和输出都是向量。在结构学习中,我们需要学习的是一个函数 FFF 。如下图所示,它的输入是一种形式,而输出是另一种形式。结构化学习的应用结构化学习的统一框架在训练的过程中,我们希望找到这样的一个函数 fff ,用它来评价我们输入与我们的输出的匹配程度。在测试过程中,给定一个 xxx,我们穷举所有的...原创 2019-05-09 21:14:38 · 689 阅读 · 0 评论 -
《机器学习》学习笔记(二十二)—Ensemble(模型集成)
模型集成的框架每种分类器都应该有自己的位置Ensemble:Bagging1、偏置与方差的关系除了可以很完美进行工作的机器学习模型,剩下的模型大致可以分为两种情况,即欠拟合(Underfitting)和过拟合(Overfitting)。欠拟合的特点在于它具有比较小的方差,但是却有着比较大的偏置(即与正确答案的偏离方向);而过拟合虽然有着较小的偏置,但是却有着较大的方差,将这两种情况画...原创 2019-05-07 20:27:18 · 684 阅读 · 0 评论 -
《机器学习》学习笔记(二十五)—结构化学习:线性模型
结构化线性模型回顾之前的结构化学习,我们可以知道结构化学习可以分为下面三个问题其中第一个问题是估计关系的时候我们需要给出估计 x,yx,yx,y 匹配程度的一个具体形式;在第二个问题中,我们往往假设我们已经找到了是函数值最大的 yyy;在第三个问题中,给定训练数据,我们如何得到函数 F(x,y)F(x,y)F(x,y)。问题一:F(x,y)F(x,y)F(x,y) 的具体形式F(x,y)...原创 2019-05-10 20:45:09 · 717 阅读 · 0 评论 -
《机器学习》学习笔记(二十六)—结构化学习:结构型支持向量机
回顾结构化学习结构化学习的统一框架可以分为下面两个部分第一步就是通过训练得到函数,第二步是给定数据,找到最符合的 yyy 。结构化学习要解决的三个问题首先要确定的问题是,找到函数 F(x,y)F(x,y)F(x,y) 的表示形式。第二个问题是,如果给定了一个 F(x,y)F(x,y)F(x,y) 和输入数据 xxx 如何找到对应的最大的 yyy ,这个一般假设是通过穷举的方法得到的。最...原创 2019-05-12 20:32:16 · 347 阅读 · 0 评论 -
《机器学习》学习笔记(十一)—卷积神经网络
卷积神经网络(Convolutional Neural Network, CNN)是一类具有特殊结构的神经网络,在图像识别和语音识别领域领域具有不可替代的作用。CNN的神奇之处在于它考虑了图像数据的特点,通过特殊的卷积和池化结构,在减少参数的同时可以提取到更加抽象的图像特征。卷积的意义数字图像是一个二维的离散信号,对数字图像做卷积操作其实就是利用卷积核(卷积模板)在图像上滑动,将图像点上的...原创 2019-04-29 10:36:42 · 330 阅读 · 0 评论 -
《机器学习》学习笔记(一)—机器学习概述
人工智能与机器学习的关系人工智能—目标机器学习—手段:从数据中产生模型机器学习的步骤获取数据—>选择模型进行训练—>微调模型—>确定最优模型机器学习分类监督学习从标记的训练数据来推断一个功能的机器学习任务回归目标—给定D维输入变量x,并且每一个输入矢量x都有对应的值y,要求对于新来的数据预测它对应的连续的目标值t。分类预测离散类标签(分为二元分类和多元...原创 2019-04-24 14:40:28 · 387 阅读 · 0 评论 -
《机器学习》学习笔记(九)—初探深度学习(神经网络实现手写数字识别)
首先介绍一个 Python 中的深度学习库 KerasKerasKeras 是基于 Theano和TensorFlow 的深度学习库,不同于其他深度学习框架。Keras 充当神经网络的高级 API 规范。它既可作为用户界面,也可扩展它在其中运行的其他深度学习框架后端的功能。这一章,我们会使用 Keras 构建一个神经网络实现手写数字识别其中,需要用到包含图片和标签的训练集和测试集,M...原创 2019-04-28 20:59:08 · 312 阅读 · 0 评论 -
《机器学习》学习笔记(三)—误差分析
偏差与方差模型的误差来源于 bias 与 varianceBias—期望值与目标的距离Variance—数据的集中程度分析测试假设有一百个数据集容易得出结论:简单的函数模型相对来说较集中,方差很小,但偏差较大复杂的函数模型相对来说较分散,方差很大,但偏差较小而且越简单的函数模型,受训练数据的影响也越小分析从一次方到五次方的函数模型得到下图的结果欠拟合的原因在于偏差过大...原创 2019-04-26 14:09:18 · 364 阅读 · 0 评论 -
《机器学习》学习笔记(四)—梯度下降
Gradient Descent(梯度下降)假设权值系数 θ\thetaθ 包含两个变量 {θ1,θ2}\{\theta_1,\theta_2\}{θ1,θ2}随机选取初始值θ0=[θ10θ20]\theta^0=\begin{bmatrix}\theta_1^0\\\theta_2^0\end{bmatrix}θ0=[θ10θ20]之后不断计算微分进行迭代至收敛这里微分 ∇...原创 2019-04-26 17:32:21 · 184 阅读 · 0 评论 -
《机器学习》学习笔记(五)—分类:概率生成模型
Classification(分类)找到一个合适的模型,输入对象 xxx ,输出它属于的类别应用:信用评估、医疗诊断、手写识别、面部识别如何进行分类分类问题中的线性回归我们考虑一个二元分类问题,一类标记为 Class1Class 1Class1,一类标记为 Class2Class 2Class2。如果对于左图中的数据利用回归模型可以很好的区分,但是如果数据分布不是聚集分布,如右图,...原创 2019-04-26 19:29:02 · 2357 阅读 · 0 评论 -
《机器学习》学习笔记(六)—分类:逻辑回归
Classification:Logistic Regression(逻辑回归)一种用于解决二分类(0 or 1)问题的机器学习方法,用于估计某种事物的可能性。逻辑回归与线性回归都是一种广义线性模型。逻辑回归假设因变量 yyy 服从伯努利分布,而线性回归假设因变量 yyy 服从高斯分布。 因此与线性回归有很多相同之处,去除Sigmoid映射函数的话,逻辑回归算法就是一个线性回归。可以说,逻...原创 2019-04-27 14:19:59 · 427 阅读 · 0 评论 -
《机器学习》学习笔记(八)—反向传播算法
但我们利用梯度下降算法来训练一个神经网络的时候,应该怎么做?梯度下降的关键是求梯度,也就是求损失函数对所有参数求偏导组成的向量。求 LLL 对 www 的偏导,也就是求每一项 CCC 对 www 的偏导。其中,求 ∂C∂w\frac{\partial C}{\partial w}∂w∂C 可以分解为两步:∂C∂w\frac{\partial C}{\partial w}∂w∂C=∂...原创 2019-04-28 14:35:47 · 219 阅读 · 0 评论 -
《机器学习》学习笔记(十六)—无监督学习:邻域嵌套
Manifold Learning(流形学习)流形学习(manifold learning)是机器学习、模式识别中的一种方法,在维数约简方面具有广泛的应用。它的主要思想是将高维的数据映射到低维,使该低维的数据能够反映原高维数据的某些本质结构特征。流形学习的前提是有一种假设,即某些高维数据,实际是一种低维的流形结构嵌入在高维空间中。流形学习的目的是将其映射回低维空间中,揭示其本质。因为只有在同...原创 2019-05-03 00:05:32 · 358 阅读 · 0 评论 -
《机器学习》学习笔记(十七)—无监督学习:深度自动编码器
自动编码器将神经网络的隐含层看成是一个编码器和解码器,输入数据经过隐含层的编码和解码,到达输出层时,确保输出的结果尽量与输入数据保持一致。也就是说,隐含层是尽量保证输出数据等于输入数据的。 这样做的一个好处是,隐含层能够抓住输入数据的特点,使其特征保持不变。例如,假设输入层有100个神经元,隐含层只有50个神经元,输出层有100个神经元,通过自动编码器算法,我们只用隐含层的50个神经元就找...原创 2019-05-03 09:39:45 · 1286 阅读 · 0 评论 -
《机器学习》学习笔记(七)—深度学习简介
深度学习在近些年非常热门,从2012年开始,深度学习的应用数目几乎呈现指数型增长。深度学习的发展深度学习的三个步骤:定义模型(神经网络)—>模型性能—>挑选最佳模型神经网络神经网络就是一系列简单的节点,在简单的组合下,表达一个复杂的函数神经元的连接的方式(思想的模型,就是自己动手去连接)Fully Connect Feedforward Network(全连接前...原创 2019-04-28 14:35:26 · 221 阅读 · 0 评论 -
《机器学习》学习笔记(十八)—无监督学习:深度生成模型
Generative models(生成模型)1、PixelRNN根据前面的一个像素,输出下一个像素。这种方式可以收集大量的图片进行无监督训练,训练网络。通过部分的图像就可以预测后面的图像。在训练的过程中,首先输入图像的第一个像素,这个时候神经网络的输出应该是图像的第二个像素;然后输出图像的第一、二个像素,这个时候神经网络输出的是图像的第三个像素,依次类推,对网络进行训练。如上图,...原创 2019-05-03 15:01:21 · 539 阅读 · 0 评论 -
《机器学习》学习笔记(十九)—迁移学习
迁移学习是一种机器学习方法,就是把为任务 A 开发的模型作为初始点,重新使用在为任务 B 开发模型的过程中。迁移学习的四种类型Fine-tuning(微调)Fine-tuning 是源数据域与目标数据域的数据都具有标签,并且源域的数据量很大,而目标域的数据量很小,当目标数据域的数量特别小的时候就将称为“One-shot learning”。其主要想法是使用源域数据训练模型,使用目标域...原创 2019-05-03 21:37:15 · 710 阅读 · 0 评论 -
《机器学习》学习笔记(二十七)—结构化学习:序列标注
序列标注序列标注的的输入是一个序列,他的输出也是一个序列。一个典型的例子就是词性标注(pos tagging)。在日常中用的词有的是名词,有的是动词,但是动词中还有专有名词,非专有名词等。所以对于词性的标注还是有必要的。在上面这个例子中有两个 saw ,其中第一个 saw 是动词,而第二个 saw 是名次,所以需要理解整个句子的含义才能做出正确的词性标注。隐马尔科夫模型(HMM)首先在...原创 2019-05-18 10:34:14 · 614 阅读 · 0 评论