深度学习
深度学习
珞沫
欲望以提升热忱,毅力以磨平高山。
展开
-
深度学习模型系列二——多分类和回归模型——多层感知机
多层感知机1、概述2、原理3、多层感知机(MLP)代码详细解读(基于python+PyTorch)1、概述\quad \quad多层感知机(MLP,Multilayer Perceptron)也叫人工神经网络(ANN,Artificial Neural Network),除了输入输出层,它中间可以有多个隐层,最简单的MLP只含一个隐层,即三层的结构,如下图:\quad \quad从上图可以看到,多层感知机层与层之间是全连接的。多层感知机最底层是输入层,中间是隐藏层,最后是输出层。\quad \qu原创 2020-08-07 12:19:01 · 6388 阅读 · 0 评论 -
【深度学习系列】——Fashion-MNIST数据集简介
图像分类数据集(Fashion-MNIST)1、数据集简介2、获取数据集3、查看数据集4、图像可视化显示5、读取小批量数据1、数据集简介\quad \quad不同于MNIST手写数据集,Fashion-MNIST数据集包含了10个类别的图像,分别是:t-shirt(T恤),trouser(牛仔裤),pullover(套衫),dress(裙子),coat(外套),sandal(凉鞋),shirt(衬衫),sneaker(运动鞋),bag(包),ankle boot(短靴)。2、获取数据集1、torch原创 2020-08-05 13:54:58 · 21711 阅读 · 3 评论 -
深度学习模型系列一——多分类模型——Softmax 回归
Softmax 回归1、概述1、概述softmax 回归(softmax regression)其实是 logistic 回归的一般形式,logistic 回归用于二分类,而 softmax 回归用于多分类,关于 logistic 回归可以看我的这篇博客????机器学习笔记九——线性模型原理以及python实现案例参考资料:https://blog.csdn.net/weixin_38169413/article/details/103598534...原创 2020-08-05 10:54:52 · 28195 阅读 · 3 评论 -
深度学习系列四——优化篇之网络正则化
网络正则化权重衰减提前停止高神经网络的泛化能力反而成为影响模型能力的最关键因素. 参见第2.8.1节.正则化(Regularization)是一类通过限制模型复杂度,从而避免过拟合,提高泛化能力的方法,比如引入约束、增加先验、提前停止等.在传统的机器学习中,提高泛化能力的方法主要是限制模型复杂度,比如采用 ℓ1 和 ℓ2 正则化等方式.而在训练深度神经网络时,特别是在过度参数化(Over-Parameterization)时,ℓ1 和ℓ2 正则化的效果往往不如浅层机器学习模型中显著.过度参原创 2020-07-30 20:08:39 · 972 阅读 · 0 评论 -
深度学习系列三——优化篇之参数初始化,数据预处理,逐层归一化(BN+LN+WN+GN),超参数优化
前言1、参数初始化1.1 预训练初始化:1.2 固定值初始化:1.3 随机初始化:1.3.1 基于固定方差的参数初始化1.3.2 基于方差缩放的参数初始化1.3.2.1 Xavier初始化1.3.2.2 He初始化1.3.3 正交初始化2、数据预处理2.1 归一化处理2.2 白化处理1、参数初始化\quad \quad神经网络的参数学习是一个非凸优化问题.当使用梯度下降法来进行优化网络参数时,参数初始值的选取十分关键,关系到网络的优化效率和泛化能力.\quad \quad不同的参数初始值会收敛到不同原创 2020-07-26 19:43:22 · 3644 阅读 · 3 评论 -
深度学习系列二—优化算法
优化算法在深度学习领域,优化算法的选择是重中之重。梯度下降算法是目前神经网络中使用最广泛的优化算法之一。为了弥补朴素梯度下降的缺陷,又出现了SGD、SGD with Momentum、Adam、NAdam等。深度学习优化算法经历了SGD->SGDM->NAG->AdaGrad->AdaDelta->Adam->Nadam 这样的发展历程。...原创 2020-07-24 15:19:53 · 1063 阅读 · 0 评论 -
深度学习系列一——优化问题
优化算法1、优化问题简介2、 存在的挑战3、优化的实质4、 神经网络优化的改善方法1、优化问题简介深度学习(神经网络)的优化是指寻找一个神经网络模型来使得经验(或结构)风险最小化的过程,包括模型选择以及参数学习等。深度神经网络是一个高度非线性的模型,其风险函数是一个非凸函数,(因此风险最小化即深度学习的优化问题是非凸优化问题。)找到全局最优解比较困难。绝大多数深度学习中的目标函数都很复杂。因此,很多优化问题并不存在解析解,而需要使用基于数值方法的优化算法(eg:SGD)找到近似解。 这类优化算法一般原创 2020-07-23 17:20:51 · 2336 阅读 · 1 评论 -
win10+python3.7+pytorch(CPU)安装
由于电脑显卡不支持GPU版本的安装,只能凑合的安装以下CPU版本,练习使用Pytorch框架pytorch官网下载比较慢,因此我们使用清华镜像进行安装。1、在anaconda prompt下输入以下命令即可conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/conda install pytorch torchvision cpuonly2、检测是否安装成功import原创 2020-07-18 16:35:02 · 2158 阅读 · 0 评论 -
机器学习笔记12——感知机模型原理以及python实现案例
感知机1、概述2、感知机模型2.1 定义2.2 损失函数3、感知机算法3.1 原始形式3.2 对偶形式4、感知机与其他算法1、概述感知机是由美国学者FrankRosenblatt 在1957 年提出来的,被看作为神经网络(深度学习)的起源的算法,同时也是支持向量机的基础。严格讲,应该称为“人工神经元”或“朴素感知机”,但是因为很多基本的处理都是共通的,所以这里就简单地称为“感知机”。感知机是二分类的线性模型,其输入是实例的特征向量,输出的是事例的类别,分别是+1和-1,属于判别模型。感知机要求数据原创 2020-07-13 11:41:39 · 1434 阅读 · 0 评论 -
机器学习笔记11—机器学习/深度学习之激活函数及python代码实现
2.2 ML/DL之激活函数非线性激活函数:Sigmoid函数、tanh函数、ReLU函数、Leaky ReLU函数。1、激活函数特点非线性处理单元。激活函数使神经网络具有非线性。它决定感知机是否激发。激活函数的这种非线性,赋予了深度网络学习复杂函数的能力。除了在0点的修正单元以外,大多数激活函数都是连续并可导。激活函数及其导函数要尽可能的简单,有利于提高网络计算效率。激活函数的导函数的值域要在一个合适的区间内,不能太大也不能太小,否则会影响训练的效率和稳定性。2、常用的激活函数Si原创 2020-07-10 21:55:22 · 1324 阅读 · 0 评论 -
window10下Anaconda3卸载、安装及tensorflow2.2.0的安装
记录苦逼出坑历程1、 Anaconda3卸载2、Anaconda3安装3、Tensorflow2.0的安装记录一下,方便以后的使用,不想再每次踩坑,出坑1、 Anaconda3卸载直接卸载会卸载的不彻底彻底卸载打开Anaconda Prompt,输入以下命令:Uninstall-Anaconda3.exe等人家自己卸载就可以了。2、Anaconda3安装1、 打开官网,点击左下角的 Download,跳转到以下界面,选择与电脑相应的版本。下载完成后,出现以下.exe程序文件2、An原创 2020-06-05 21:40:43 · 3500 阅读 · 4 评论