mejs-CSDN博客

原创百度飞桨第二周实践-学习率调参及loss可视化

百度飞桨第二周实践-学习率调参及loss可视化学习率调度器定义梯度优化算法MomentumOptimizer优化器cosine_decay余弦衰减绘制loss可视化作为一名小白，跟随老师和助教们的脚步一直走到了现在，感受到了AI的魅力，同时对于飞桨的简洁易用性有了进一步的理解。本周的实践问题：通过查阅API，使用衰减学习率，通过多次调参数，找到一个最佳的衰减步长，使得loss比原代码中下降的更快请自行绘制修改学习率前后的loss衰减图注意：原代码中仅需要更改学习率部分若loss下降效果不明

2020-08-26 15:11:09 2348 2

原创 AI Studio 飞桨零基础入门深度学习笔记6.7-手写数字识别之资源配置

AI Studio 飞桨零基础入门深度学习笔记6.7-手写数字识别之资源配置概述前提条件单GPU训练分布式训练模型并行数据并行PRC通信方式NCCL2通信方式（Collective）概述从前几节的训练看，无论是房价预测任务还是MNIST手写字数字识别任务，训练好一个模型不会超过十分钟，主要原因是我们所使用的神经网络比较简单。但实际应用时，常会遇到更加复杂的机器学习或深度学习任务，需要运算速度更高的硬件（如GPU、NPU），甚至同时使用多个机器共同训练一个任务（多卡训练和多机训练）。本节我们依旧横向展开

2020-08-19 11:06:02 2968

原创 AI Studio 飞桨零基础入门深度学习笔记6.6-手写数字识别之优化算法

AI Studio 飞桨零基础入门深度学习笔记6.6-手写数字识别之优化算法概述前提条件设置学习率学习率的主流优化算法概述上一节我们明确了分类任务的损失函数（优化目标）的相关概念和实现方法，本节我们依旧横向展开"横纵式"教学法，如图1 所示，本节主要探讨在手写数字识别任务中，使得损失达到最小的参数取值的实现方法。图1：“横纵式”教学法 — 优化算法前提条件在优化算法之前，需要进行数据处理、设计神经网络结构，代码与上一节保持一致，如下所示。如果读者已经掌握了这部分内容，可以直接阅读正文部分。

2020-08-19 08:49:59 558

原创 AI Studio 飞桨零基础入门深度学习笔记6.5-手写数字识别之损失函数

AI Studio 飞桨零基础入门深度学习笔记6.5-手写数字识别之损失函数概述分类任务的损失函数Softmax函数交叉熵交叉熵的代码实现概述上一节我们尝试通过更复杂的模型（经典的全连接神经网络和卷积神经网络），提升手写数字识别模型训练的准确性。本节我们继续将“横纵式”教学法从横向展开，如图1 所示，探讨损失函数的优化对模型训练效果的影响。图1：“横纵式”教学法 — 损失函数优化损失函数是模型优化的目标，用于在众多的参数取值中，识别最理想的取值。损失函数的计算在训练过程的代码中，每一轮模型

2020-08-18 21:43:26 665

原创 AI Studio 飞桨零基础入门深度学习笔记6.4-手写数字识别之网络结构

AI Studio 飞桨零基础入门深度学习笔记6.4-手写数字识别之网络结构概述数据处理经典的全连接神经网络卷积神经网络概述前几节我们尝试使用与房价预测相同的简单神经网络解决手写数字识别问题，但是效果并不理想。原因是手写数字识别的输入是28 × 28的像素值，输出是0-9的数字标签。而线性回归模型无法捕捉二维图像数据中蕴含的复杂信息，如图1 所示。无论是牛顿第二定律任务，还是房价预测任务，输入特征和输出预测值之间的关系均可以使用“直线”刻画（使用线性方程来表达）。但手写数字识别任务的输入像素和输出数

2020-08-18 21:40:33 504

原创 AI Studio 飞桨零基础入门深度学习笔记6.3-手写数字识别之数据处理

AI Studio 飞桨零基础入门深度学习笔记6.3-手写数字识别之数据处理）概述前提条件读入数据并划分数据集扩展阅读：为什么学术界的模型总在不断精进呢？训练样本乱序、生成批次数据校验数据有效性机器校验人工校验封装数据读取与处理函数异步数据读取概述上一节我们使用“横纵式”教学法中的纵向极简方案快速完成手写数字识别任务的建模，但模型测试效果并未达成预期。我们换个思路，从横向展开，如图1 所示，逐个环节优化，以达到最优训练效果。本节主要介绍手写数字识别模型中，数据处理的优化方法。图1：“横纵式”教学

2020-08-18 20:16:28 1065

原创 AI Studio 飞桨零基础入门深度学习笔记6.2-通过极简方案构建手写数字识别模型

AI Studio 飞桨零基础入门深度学习笔记6.2-通过极简方案构建手写数字识别模型通过极简方案构建手写数字识别模型前提条件数据处理飞桨API的使用方法模型设计训练配置训练过程模型测试作业 2-1：通过极简方案构建手写数字识别模型上一节介绍了创新性的“横纵式”教学法，有助于深度学习初学者快速掌握深度学习理论知识，并在过程中让读者获得真实建模的实战体验。在“横纵式”教学法中，纵向概要介绍模型的基本代码结构和极简实现方案，如图1 所示。本节将使用这种极简实现方案快速完成手写数字识别的建模。图1：“

2020-08-15 19:00:59 885

原创 AI Studio 飞桨零基础入门深度学习笔记6.1-手写数字识别任务

AI Studio 飞桨零基础入门深度学习笔记6.1-手写数字识别任务手写数字识别任务MNIST数据集构建手写数字识别的神经网络模型飞桨各模型代码结构一致，大大降低了用户的编码难度教程采用"横纵式"教学法，适用于深度学习初学者手写数字识别任务数字识别是计算机从纸质文档、照片或其他来源接收、理解并识别可读的数字的能力，目前比较受关注的是手写数字识别。手写数字识别是一个典型的图像分类问题，已经被广泛应用于汇款单号识别、手写邮政编码识别等领域，大大缩短了业务处理时间，提升了工作效率和质量。在处理如图1

2020-08-15 14:58:20 3787

原创 AI Studio 飞桨零基础入门深度学习笔记5-使用飞桨重写房价预测模型

AI Studio 飞桨零基础入门深度学习笔记5-使用飞桨重写房价预测模型飞桨深度学习平台设计之“道”使用飞桨构建波士顿房价预测模型数据处理模型设计训练配置训练过程保存并测试模型保存模型测试模型飞桨深度学习平台设计之“道”当读者习惯使用飞桨框架后会发现程序呈现出“八股文”的形态，即不同的程序员、使用不同模型、解决不同任务的时候，他们编写的建模程序是极其相似的。虽然这些设计在某些“极客”的眼里缺乏精彩，但从实用性的角度，我们更期望建模者聚焦需要解决的任务，而不是将精力投入在框架的学习上。因此使用飞桨编写

2020-08-15 14:46:16 1953 1

原创 AI Studio 飞桨零基础入门深度学习笔记4-飞桨开源深度学习平台介绍

AI Studio 飞桨零基础入门深度学习-笔记欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎

2020-08-15 09:50:37 2334

原创 AI Studio 飞桨零基础入门深度学习笔记3-使用飞桨重写房价预测模型

AI Studio 飞桨零基础入门深度学习笔记3-使用飞桨重写房价预测模型飞桨深度学习平台设计之“道”使用飞桨构建波士顿房价预测模型数据处理模型设计训练配置训练过程保存并测试模型保存模型测试模型飞桨深度学习平台设计之“道”当读者习惯使用飞桨框架后会发现程序呈现出“八股文”的形态，即不同的程序员、使用不同模型、解决不同任务的时候，他们编写的建模程序是极其相似的。虽然这些设计在某些“极客”的眼里缺乏精彩，但从实用性的角度，我们更期望建模者聚焦需要解决的任务，而不是将精力投入在框架的学习上。因此使用飞桨编写

2020-08-12 16:50:39 1914

原创 AI Studio 飞桨零基础入门深度学习笔记2-基于Python编写完成房价预测任务的神经网络模型

AI Studio 飞桨零基础入门深度学习笔记2-基于Python编写完成房价预测任务的神经网络模型波士顿房价预测任务线性回归模型线性回归模型的神经网络结构构建波士顿房价预测任务的神经网络模型1 数据处理1.1 读入数据1.2 数据形状变换1.3 数据集划分1.4 数据归一化处理1.5 封装成load data函数2 模型设计3 训练配置4 训练过程4.1 梯度下降法4.2 计算梯度4.3 使用Numpy进行梯度计算4.4 确定损失函数更小的点4.5 代码封装Train函数4.6 训练扩展到全部参数4.7

2020-08-12 14:55:31 2058 1

原创 AI Studio 飞桨零基础入门深度学习笔记1-深度学习的定义

人工智能、机器学习、深度学习的关系近些年人工智能、机器学习和深度学习的概念十分火热，但很多从业者却很难说清它们之间的关系，外行人更是雾里看花。在研究深度学习之前，我们先从三个概念的正本清源开始。概括来说，人工智能、机器学习和深度学习覆盖的技术范畴是逐层递减的。人工智能是最宽泛的概念。机器学习是当前比较有效的一种实现人工智能的方式。深度学习是机器学习算法中最热门的一个分支，近些年取得了显著的进展，并替代了大多数传统机器学习算法。三者的关系如图1 所示，即：人工智能 > 机器学习 > 深度学习

2020-08-12 08:16:38 698

qq_26765099的博客