![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MachineLearning
AI小兵
AI入门新手
展开
-
常见梯度下降法
(学习cs231n的笔记,图片就直接偷懒贴了视频的截图,见谅)一、最常见的三种梯度下降法:批量梯度下降(BGD Batch gradient descent)BGD 采用整个训练集的数据来计算 cost function 对参数的梯度缺点:就对整个数据集计算梯度,所以计算起来非常慢随机梯度下降(SGD stochastic gradient descent)每次更新时对每个样本进行梯度更新,速度快...原创 2018-02-24 14:56:50 · 5361 阅读 · 0 评论 -
dropout学习笔记
目的: 防止过拟合,让一部分权值停止更新,减少权值之间的依赖原理: 当网络有n个参数时,可以选择的子网络个数有2^n种,当n很大时,选中相同子网络的概率很小,避免了对同一个网络重复训练,过分拟合到训练集以前我们网络的计算公式是: 采用dropout后计算公式就变成了: 上面公式中Bernoulli函数,是为了以概率p,随机生成一个0、1的向量在训练的时候,以一定概率乘以上一层的输出(即...原创 2018-02-24 15:51:56 · 477 阅读 · 0 评论 -
数据预处理
一、处理方法 中心化和归一化是常用的方法,处理的结果是均值为0,方差为1二、为什么要进行归一化?1. 把所有的数据进行归一化之后,原有网络只需不断的学习同一个范围内的数据即可;如果不归一化,则学习完一个范围内的数据之后,还需要学习另一个范围内的数据,导致学习成本增加,还可能引起参数震荡2. 增强系统的鲁棒性比如要对红色和蓝色区域进行二元分类,虽然不归一化的情况下也能很好的实现,但如果直线稍微...原创 2018-02-24 16:02:44 · 491 阅读 · 0 评论 -
sparse_softmax_cross_entropy_with_logits的介绍
sparse_softmax_cross_entropy_with_logits实际上是softmax和cross_entropy(交叉熵)两个函数的组合一、softmax核心是做归一化而softmax把一个k维的real value向量(a1,a2,a3,a4….)映射成一个(b1,b2,b3,b4….)其中bi是一个0-1的常数,然后可以根据bi的大小来进行多分类的任务,如取权重最大的一维。二...原创 2018-02-24 16:18:56 · 930 阅读 · 0 评论 -
防止过拟合的方法
根本方法是获取更多的数据,除了获得更多的数据之外,还有一些技巧用于解决过度拟合问题,这里列出了一些最常见的技术:DropoutL2正则化数据增强其中Dropout和L2正则化在之前的文章()中已经分析过,这篇文章介绍数据增强。数据增强的目的是为了在相同的标签下,获取更多的输入样本。主要方法包括:旋转、随机裁剪、平移、噪声扰动、颜色变换等...原创 2018-03-04 15:41:04 · 206 阅读 · 0 评论 -
过拟合与L1,L2正则化
一、为什么会产生过拟合?我们常见的损失函数如下所示:周志华的《机器学习》有一句话,“当样本特征很多,而样本数相对较少时,上式很容易陷入过拟合”。关于这就话,我的理解是,当特征较多时,对应的参数W的维度就会越高,越高的维度就越容易拟合出越高维度,越复杂的图形。而当样本数很少,但是又具有拟合复杂图形的能力时,系统就会精确拟合全部特征点,而陷入过拟合,如下图二、什么是L1,L2正则化L1范数是指向量中各...原创 2018-03-04 13:16:30 · 730 阅读 · 0 评论 -
Cuda 编程入门
这篇文章写的特别好,https://blog.csdn.net/xiaohu2022/article/details/79599947,我基本就是参考这篇文章最难理解的部门就是Grid和Block的概念,具体关系参见下图GPU之所以处理图片速度快,就是因为可以把图片的每一块区域分配给一个Thread来处理,每个Thread只负责处理图像的一块区域,当每个Thread都结束的时候,整张图...原创 2018-08-15 13:22:30 · 1123 阅读 · 0 评论 -
深度学习中轴(axis)的理解
参考这篇文章 https://blog.csdn.net/fangjian1204/article/details/53055219 在接触tensorflow和numpy的时候,总是被axis的概念弄混,像np.min(data, axis=0),所以重点学习一下。 在谈到轴之前,首先介绍一下维度的概念,了解了维度的概念,再谈轴就比较好理解了,文章中有一句特别关键的话“设axis...原创 2018-12-10 10:55:00 · 2026 阅读 · 0 评论