![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
闲云野鹤01
沟通邮箱xiaosongcsdn@163.com
展开
-
2.4BN与神经网络调优
2.4.1神经网络调优我们经常会涉及到参数的调优,也称之为超参数调优。目前我们从第二部分中讲过的超参数有算法层面: 学习率α β1,β2,ϵ:Adam优化算法的超参数,常设为0.9、0.999、 λ:正则化网络参数, 网络层面: hiddenunits:各隐藏层神经元个数 layers:神经网络层数 2.4.1.1调参技巧对于调参,通常采用跟机器学习中网格搜索...原创 2020-03-29 15:41:01 · 399 阅读 · 0 评论 -
2.3深度学习正则化
2.3.1偏差与方差2.3.1.1数据集划分首先我们对机器学习当中涉及到的数据集划分进行一个简单的复习训练集(trainset):用训练集对算法或模型进行训练过程; 验证集(developmentset):利用验证集(又称为简单交叉验证集,hold-outcrossvalidationset)进行交叉验证,选择出最好的模型; 测试集(testset):最后利用测试集对模型进行测试,...原创 2020-03-29 15:38:19 · 3106 阅读 · 0 评论 -
2.2梯度下降算法改进
深度学习难以在大数据领域发挥最大效果的一个原因是,在巨大的数据集基础上进行训练速度很慢。而优化算法能够帮助我们快速训练模型,提高计算效率。接下来我么就去看有哪些方法能够解决我们刚才遇到的问题或者类似的问题2.2.1优化遇到的问题梯度消失 局部最优2.2.1.1梯度消失在梯度函数上出现的以指数级递增或者递减的情况分别称为梯度爆炸或者梯度消失。假设对于目标输出有:对于的值大于1...原创 2020-03-29 15:37:24 · 725 阅读 · 0 评论 -
案例:Mnist手写数字识别神经网络实现
2.1.3.1数据集介绍文件说明:train-images-idx3-ubyte.gz:trainingsetimages(9912422bytes) train-labels-idx1-ubyte.gz:trainingsetlabels(28881bytes) t10k-images-idx3-ubyte.gz:testsetimages(1648877bytes) t10k...原创 2020-03-29 15:35:28 · 1988 阅读 · 0 评论 -
2.1多分类与TensorFlow
2.1多分类与TensorFlow到目前为止,我们所接触的都是二分类问题,神经网络输出层只有一个神经元,表示预测输出y^是正类的概率则判断为正类,反之判断为负类。那么对于多分类问题怎么办?2.1.1Softmax回归对于多分类问题,用N表示种类个数,那么神经网络的输出层的神经元个数必须为L[output]=N,每个神经元的输出依次对应属于N个类别当中某个具体类别的概率,即。输出层即...原创 2020-03-29 15:26:49 · 602 阅读 · 0 评论 -
1.5深度学习与神经网络总结
原创 2020-03-29 15:22:40 · 205 阅读 · 0 评论 -
1.4深层神经网络
为什么使用深层网络对于人脸识别等应用,神经网络的第一层从原始图片中提取人脸的轮廓和边缘,每个神经元学习到不同边缘的信息;网络的第二层将第一层学得的边缘信息组合起来,形成人脸的一些局部的特征,例如眼睛、嘴巴等;后面的几层逐步将上一层的特征组合起来,形成人脸的模样。随着神经网络层数的增加,特征也从原来的边缘逐步扩展为人脸的整体,由整体到局部,由简单到复杂。层数越多,那么模型学习的效果也就越精确。...原创 2020-03-29 15:22:09 · 181 阅读 · 0 评论 -
1.3浅层神经网络
1.3.1浅层神经网络表示之前已经说过神经网络的结构了,在这不重复叙述。假设我们有如下结构的网络对于这个网络我们建立一个简单的图示?我们对第一个隐藏层记为[1],输出层为[2]。如下图计算图如下每个神经元的计算分解步骤如下第一层中的第一个神经元第一层中的第一个神经元得出第一层的计算:1.3.2单个样本的向量化表示那么现在把上面的第一层的计算过程...原创 2020-03-29 15:20:59 · 455 阅读 · 0 评论 -
1.2神经网络基础
1.2.1Logistic回归1.2.1.1Logistic回归逻辑回归是一个主要用于二分分类类的算法。那么逻辑回归是给定一个x,输出一个该样本属于1对应类别的预测概率y=P(y=1|x)。Logistic回归中使用的参数如下:1.2.1.2逻辑回归损失函数损失函数(lossfunction)用于衡量预测结果与真实值之间的误差。最简单的损失函数定义方式为平方差损...原创 2020-03-29 15:20:14 · 216 阅读 · 0 评论 -
1.1深度学习介绍
1.1.1区别1.1.1.1特征提取方面机器学习的特征工程步骤是要靠手动完成的,而且需要大量领域专业知识 深度学习通常由多个层组成,它们通常将更简单的模型组合在一起,通过将数据从一层传递到另一层来构建更复杂的模型。通过大量数据的训练自动得到模型,不需要人工设计特征提取环节。深度学习算法试图从数据中学习高级功能,这是深度学习的一个非常独特的部分。因此,减少了为每个问题开发新特征提取器...原创 2020-03-29 15:18:50 · 354 阅读 · 0 评论