AMBPOTIAL-CSDN博客

原创飞桨百度架构师手把手带你零基础实践深度学习——手写数字识别训练调试与优化

其实对于这个模型，我们还有很多优化的方向。有一些关键问题：计算分类准确率，观测模型训练效果。（交叉熵损失函数只能作为优化目标，无法直接准确衡量模型的训练效果。准确率可以直接衡量训练效果，但由于其离散性质，不适合做为损失函数优化神经网络。）检查模型训练过程，识别潜在问题。（如果模型的损失或者评估指标表现异常，通常需要打印模型每一层的输入和输出来定位问题，分析每一层的内容来获取错误的原因。）加入校验或测试，更好评价模型效果。（理想的模型训练结果是在训练集和验证集上均有较高的准确率，如.

2020-08-15 17:57:39 434 1

原创飞桨百度架构师手把手带你零基础实践深度学习——手写数字识别资源配置

使用GPU训练使用GPU进行训练CPU：fluid.CPUPlace()GPU: fluid.CUDAPlace(0)，四个GPU卡的编号0,1,2,3#仅前3行代码有所变化，在使用GPU时，可以将use_gpu变量设置成Trueuse_gpu = Falseplace = fluid.CUDAPlace(0) if use_gpu else fluid.CPUPlace()with fluid.dygraph.guard(place): #用place作为资源进行训练 mo

2020-08-15 16:51:40 337

原创飞桨百度架构师手把手带你零基础实践深度学习——手写数字识别优化算法

将损失函数由均方误差改交叉熵，我们下面来寻找更好的改进方法。调整学习率当前SGD算法，LR=0.01,10轮后Loss=0.55。学习率（步长）过大过小都会有影响。学习率越小，损失函数的变化速度越慢，意味着我们需要花费更长的时间进行收敛。学习率越大，只根据总样本集中的一个批次计算梯度，抽样误差会导致计算出的梯度不是全局最优的方向，且存在波动。在接近最优解时，过大的学习率会导致参数在最优解附近震荡，损失难以收敛。在训练前，我们往往不清楚一个特定问题设置成怎样的学习率是合理的，因此在训练时可以

2020-08-15 16:32:44 293

原创飞桨百度架构师手把手带你零基础实践深度学习——手写数字识别损失函数的优化

我们上一节学的是将网络结构进行优化，接下来我们看是否能将损失函数进行优化均方误差是我们在房价预测模型中使用的损失函数，显然适用于线性回归模型，实数输出与标签相减，而在分类问题中是不太合适的。我们这个模型的期望输出是一个标签的概率。SoftMax函数所有输出和为1.网络结构变化：单一输出（实数值）->每个分类一个输出（概率）softmax(xi)=exi∑j=0Nejx,i=0,...,C−1softmax(x_i) = \frac {e^{x_i}}{\sum_{j=0}^N{e^x_j}

2020-08-15 15:36:16 330

原创飞桨百度架构师手把手带你零基础实践深度学习——手写数字识别网络结构的优化

我们在上一次学习了使用飞桨对手写数字的图片进行数据处理。最重要的便是数据格式转换，以及随机排序。接下来我们讨论使用什么样的网络结构模型。我们会发现，在前面的波士顿房价预测模型中，是一个线性回归问题，但手写数字识别显然不是，我们需要更复杂的网络去进行识别。所以我们选择多层神经网络配置网络：普通的多层神经网络基础模型：神经网络输入层+隐含层+输出层，非线性变换Sigmoid。输出层：单一输出。层数相对较多，且在其中加入一些非线性的激活函数，可以使网络表达更加复杂的关系。隐含层的数量可以逐

2020-08-15 13:34:26 211

原创飞桨百度架构师手把手带你零基础实践深度学习——“手写数字识别”之数据处理

在前面的学习中，我们使用飞桨重写了波士顿房价预测模型，可以发现，飞桨给我们在深度学习过程中带来了很大的便利。接下来，我们这节课学习的主要是手写数字识别。我们会发现，其实无论任何一种深度学习，处理过程都是一样的。所以远远看上去，他们的代码好像都长得很像，但实际是有些区别的。我们首先尝试使用波士顿房价预测任务中用到的的线性回归模型，但我们发现，使用这个模型在手写数字识别的任务中的拟合性并不好。在这类图像问题处理上，我们使用的是**卷积神经网络（CNN）**模型。这个模型其实我也是在前几天阅读一篇论文的时

2020-08-14 22:51:27 260

原创飞桨百度架构师手把手带你零基础实践深度学习21天学习笔记——使用飞桨重写波士顿房价预测模型

使用飞桨书写模型的时候，流程与前面介绍的是一摸一样的。下面开始总结一下如何使用飞桨写模型加载飞桨库主库：paddle/fluid动态图类库：digraph（便于调试）静态图模式（声明式编程范式，类比C++）动态图模式（命令式编程范式，类比Python）先编译后执行的方式。用户需预先定义完整的网络结构，再对网络结构进行编译优化后，才能执行获得计算结果。解析式的执行方式。用户无需预先定义完整的网络结构，每写一行网络代码，即可同时获得计算结果。全连接层：Linear（可激活

2020-08-13 14:32:17 496

原创飞桨—百度架构师手把手带你零基础实践深度学习21天学习笔记——使用飞桨进行深度学习的优势

其实在我们编写波士顿房价预测任务的过程中，可以看到是比较繁琐的。如果我们拥有深度学习框架和平台，我们可以简化更多不必要的繁琐的外围工作，我们只关注模型设计和业务场景本身。深度学习工具的优势：1.节省编写大量底层代码的精力：屏蔽底层实现，用户只需关注模型的逻辑结构。同时，深度学习工具简化了计算，降低了深度学习入门门槛。2.省去了部署和适配环境的烦恼：具备灵活的移植性，可将代码部署到CPU/GPU/移动端上，选择具有分布式性能的深度学习工具会使模型训练更高效。在不同任务中，建模者关心的是指定模型与逻辑

2020-08-13 11:45:36 174

原创飞桨百度架构师手把手带你零基础实践深度学习21天学习笔记 ——随机梯度法的实现

在波士顿房价预测这一任务中我们采用梯度下降法实现训练。但是由于我们的样本数量较小，只有404组。在实际问题中，数据集往往非常大，如果每次都使用全量数据进行计算，效率非常低，通俗地说就是“杀鸡焉用牛刀”。由于参数每次只沿着梯度反方向更新一点点，因此方向并不需要那么精确。一个合理的解决方案是每次从总的数据集中随机抽取出小部分数据来代表整体，基于这部分数据计算梯度和损失来更新参数，这种方法被称作随机梯度下降法（Stochastic Gradient Descent，SGD），核心概念如下：min-batch

2020-08-13 11:16:50 148

原创飞桨百度架构师手把手带你零基础实践深度学习21天学习笔记——零基础入门

第一章：零基础入门深度学习到今天早上才学习完第一章零基础入门深度学习，在上周我才开始接触python，所以对于代码的理解需要费一些功夫，在看到一个新的函数、新的库都要去搜索学习。但好在飞桨的课程真的是逐步讲解深度学习的每一个步骤与过程，我也跟着学习理解了这个过程。由于我的专业是数学系，所以对于一些理论推的理解也吸收较快。概念理解深度学习参考了人脑结构，运用了神经网络，他比机器学习、人工智能更加复杂，他集中于文字、图像及语言。神经网络三个核心点：神经元（加权和、非线性变换——激活函数）、多层连接、

2020-08-13 10:57:49 389

weixin_49887018的博客