机器学习
文章平均质量分 69
帅气滴点C
这个作者很懒,什么都没留下…
展开
-
机器学习如何应对数据量不足的情况
首选,尝试一下常用的线性分类器,比如SVM、LR这些,看训练误差和测试误差的差异,这个时候可能出现多种情况:如果训练误差远小于测试误差,说明分类器已经过拟合了,考虑如何避免过拟合。如果训练误差和测试误差差不多,但是测试误差太大,说明模型复杂度很可能不够。如果训练误差和测试误差差不多,而且测试误差已经足够小,结束。针对(1),这个时候产生了严重的过拟合,这意味着样本数目不够,一般我们没法补充样本。那...转载 2018-07-16 09:11:28 · 8342 阅读 · 0 评论 -
机器学习之正则化(Regularization)
1. The Problem of Overfitting1还是来看预测房价的这个例子,我们先对该数据做线性回归,也就是左边第一张图。如果这么做,我们可以获得拟合数据的这样一条直线,但是,实际上这并不是一个很好的模型。我们看看这些数据,很明显,随着房子面积增大,住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。我们把此类情况称为欠拟合(underf...转载 2019-05-16 15:05:39 · 1075 阅读 · 0 评论 -
常用的深度学习模型
目录1 自动编码器2 受限玻尔兹曼机3.深信度网络1 自动编码器如果事先不知道输入数据的标签,那么可以使用自动编码器。自动编码器训练示意图标题自动编码器让输入数据经过一个编码器得到一个编码输出,在将该输出导入一个解码器得到最终的输出,由于输入数据是无标签数据,此时的误差来自于输出和原输入之间的比较。通过调整编码器和解码器的参数,使得误差达到最小,就能得到输入信号的另...原创 2018-09-20 16:47:21 · 17734 阅读 · 0 评论 -
嵌入式/压缩神经网络相关工作汇总
原文链接:https://www.ctolib.com/ZhishengWang-Embedded-Neural-Network.html Papers Reading List.This is a collection of papers aiming at reducing model sizes or the ASIC/FPGA accelerator for Machine L...转载 2018-09-15 15:35:29 · 1061 阅读 · 0 评论 -
深度学习笔记 个人阅读的Deep Learning方向的paper整理
整理和语音相关的资料。参考:https://blog.csdn.net/chenriwei2/article/details/38064555一 RNN1 Recurrent neural network based language model RNN用在语言模型上的开山之作 2 Statistical Language Models Based on Neural N...原创 2018-09-15 09:28:19 · 7628 阅读 · 0 评论 -
深度学习概述
1.深度学习的基本思想假设系统S有n层,S1,S2......Sn,它的输入时I,输出是O,如果输出O等于输入I,即输入I经过这个系统后没有任何变化,这意味着输入I经过每一层Si都没有任何的信息损失,或者丢失的信息是冗余的。换句话说,在任何一层Si的输出都是输入I的另一种表现形式。深度学习的基本思想就是堆叠多个层,吧上一层的输出作为下一层的输入,通过这种方式实现对输入信息的分级表达。图...转载 2018-09-10 22:05:40 · 3355 阅读 · 0 评论 -
神经网络(NN)
1. 背景神经网络有很多算法,其中最著名的算法应该是BP算法。2. 多层向前神经网络 1.BP算法被使用中在多层向前神经网络上。 1.1 通过迭代性来处理训练集中的实例。 1.2 对比经过神经网络后输入层预测值与真实值之间 1.3 反方向来最小化误差来更新每个连接的权重 ...转载 2018-09-12 10:52:18 · 3102 阅读 · 0 评论 -
深度学习:激活函数的比较和优缺点,sigmoid,tanh,relu
1、什么是激活函数2、为什么要用3、都有什么激活函数4、sigmoid,Relu,softmax1. 什么是激活函数 如下图,在神经元中,输入的 inputs 通过加权,求和后,还被作用了一个函数,这个函数就是激活函数 Activation Function。2. 为什么要用如果不用激励函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的...转载 2018-09-11 14:39:53 · 7302 阅读 · 1 评论 -
深度学习相关会议
1. 深度学习ICLR:国际表示学习会议(International Conference on Learning Representations, ICLR) :主要聚焦于深度学习。 NIPS:神经信息处理系统年会(Annual Conference on Neural Information Processing Systems, NIPS):交叉学科会议,但偏重于机器学习。主要包括神...原创 2018-09-07 22:14:34 · 4731 阅读 · 0 评论 -
线性最小二乘
一. 问题的定义最小二乘问题通常可以表述为,通过搜集到的一些数据(获取得到的样本),对某一个模型进行拟合,并尽可能的使得模型结果和样本达到某种程度上的最佳拟合:转化为数学表达式为: 其中 x 为模型中参数所组成的向量,e 通常被称为残差向量(residual vector). 现在假设我们的模型函数为 Ax,样本为 b 且方程数大于未知量数则有: 转化为最小二乘表...转载 2018-08-25 22:00:01 · 656 阅读 · 0 评论 -
非线性最小二乘
转自https://www.cnblogs.com/leexiaoming/p/7257198.html 非线性最小二乘介绍; 下降法相关理论(Desent Method); 信任区域理论(Trust Region Methods); 非线性最小二乘求解方法(高斯牛顿、LM)1. 非线性最小二乘介绍1.1. 最小二乘问题回顾: 在上一篇博客中我们知道最小二乘问...转载 2018-08-26 19:55:27 · 20312 阅读 · 1 评论 -
卷积
卷积神经网络是一种包含大量权值参数的模型,需要依赖庞大的训练数据已得到良好的性能。卷积神经网络的层级结构 • 数据输入层/ Input layer • 卷积计算层/ CONV layer • ReLU激励层 / ReLU layer • 池化层 / Pooling layer • 全连接层 / FC layer1.数据输入层该层要做的处理主要是对原始图像数据...转载 2018-08-05 10:44:17 · 896 阅读 · 0 评论 -
深度学习(一) 相关介绍
一:机器学习总括:(正在完善中。。。。。)类别 常见算法 监督学习:分类 决策树(DT) 临近取样(KNN) 支持向量机(SVM) 神经网络算法(NN) 监督学习:回归 线性回归() 非线性回归 非监督学习 聚类 二、机器学习相关概念1. 线性回归其...原创 2018-07-22 12:53:57 · 207 阅读 · 0 评论 -
深度学习(二) 什么是深度学习
1. 深度学习概述深度学习是机器学习延伸出来的一个新的领域,在以前的神经网络算法模型为起源,是模型结构不断的增加。在以前机器学习比较流行的一般是KNN和SVM但由于大数据和计算机能力等不断出现,是原来的模型不能更好的适应,所以深度学习开始得到广泛的关注。2. 深度学习厉害公司:谷歌、facebook、百度。3. 深度学习范畴:4. 深度学习模型 5. 深度学习与机...转载 2018-07-22 11:01:00 · 1806 阅读 · 0 评论 -
深入理解机器学习中的:目标函数,损失函数和代价函数
基本概念:损失函数:计算的是一个样本的误差代价函数:是整个训练集上所有样本误差的平均目标函数:代价函数 + 正则化项实际应用:损失函数和代价函数是同一个东西,目标函数是一个与他们相关但更广的概念,举例说明:上面三个图的曲线函数依次为f1(x),f2(x),f3(x),我们想用这三个函数分别来拟合真实值Y。我们给定x,这三个函数都会输出一个f(X),这个输出的f(X...转载 2019-05-16 15:46:07 · 614 阅读 · 0 评论