神经网络学习小记录
文章平均质量分 92
Bubbliiiing
这个作者很懒,什么都没留下…
展开
-
神经网络学习小记录78——Keras CA(Coordinate attention)注意力机制的解析与代码详解
CA注意力机制是最近提出的一种注意力机制,全面关注特征层的空间信息和通道信息。原创 2024-02-17 16:18:37 · 6600 阅读 · 9 评论 -
神经网络学习小记录77——深入浅出Self-Attention自注意力机制与Transformer模块
Self-Attention自注意力机制是Transformer模块的重要组成部分,是截至到现在(2024年1月6日)大大小小网络的标配,无论是LLM还是StableDiffusion,内部都有Self-Attention与Transformer,因此,一起来学学哈哈。原创 2024-01-13 14:27:05 · 12484 阅读 · 12 评论 -
神经网络学习小记录76——Tensorflow2设置随机种子Seed来保证训练结果唯一
好多同学每次训练结果不同,最大的指标可能会差到3-4%这样,这是因为随机种子没有设定导致的,我们一起看看怎么设定吧。随机种子(Random Seed)是计算机专业术语。一般计算机的随机数都是伪随机数,以一个真随机数(种子)作为初始条件,然后用一定的算法不停迭代产生随机数。按照这个理解,我们如果可以设置最初的真随机数(种子),那么后面出现的随机数将会是固定序列。以random库为例,我们使用如下的代码,前两次为随机生成,后两次为设置随机数生成器种子后生成。# 生成随机整数。原创 2023-12-18 00:14:44 · 5064 阅读 · 1 评论 -
神经网络学习小记录75——Keras设置随机种子Seed来保证训练结果唯一
好多同学每次训练结果不同,最大的指标可能会差到3-4%这样,这是因为随机种子没有设定导致的,我们一起看看怎么设定吧。随机种子(Random Seed)是计算机专业术语。一般计算机的随机数都是伪随机数,以一个真随机数(种子)作为初始条件,然后用一定的算法不停迭代产生随机数。按照这个理解,我们如果可以设置最初的真随机数(种子),那么后面出现的随机数将会是固定序列。以random库为例,我们使用如下的代码,前两次为随机生成,后两次为设置随机数生成器种子后生成。# 生成随机整数。原创 2023-08-27 18:15:05 · 5520 阅读 · 1 评论 -
神经网络学习小记录74——Pytorch 设置随机种子Seed来保证训练结果唯一
好多同学每次训练结果不同,最大的指标可能会差到3-4%这样,这是因为随机种子没有设定导致的,我们一起看看怎么设定吧。随机种子(Random Seed)是计算机专业术语。一般计算机的随机数都是伪随机数,以一个真随机数(种子)作为初始条件,然后用一定的算法不停迭代产生随机数。按照这个理解,我们如果可以设置最初的真随机数(种子),那么后面出现的随机数将会是固定序列。以random库为例,我们使用如下的代码,前两次为随机生成,后两次为设置随机数生成器种子后生成。原创 2023-07-09 15:36:36 · 19877 阅读 · 34 评论 -
神经网络学习小记录73——Pytorch CA(Coordinate attention)注意力机制的解析与代码详解
神经网络学习小记录72——Pytorch CA(Coordinate attention)注意力机制的解析与代码详解学习前言代码下载CA注意力机制的概念与实现注意力机制的应用学习前言CA注意力机制是最近提出的一种注意力机制,全面关注特征层的空间信息和通道信息。代码下载Github源码下载地址为:https://github.com/bubbliiiing/yolov4-tiny-pytorch复制该路径到地址栏跳转。CA注意力机制的概念与实现该文章的作者认为现有的注意力机制(如CBAM、原创 2023-05-07 12:00:47 · 23141 阅读 · 75 评论 -
神经网络学习小记录72——Parameters参数量、FLOPs浮点运算次数、FPS每秒传输帧数等计算量衡量指标解析
神经网络学习小记录72——Parameters参数量、FLOPs浮点运算次数、FPS每秒传输帧数等计算量衡量指标解析学习前言网络的运算时组成我们要关注网络的什么指标1、Parameters参数量2、FLOPs 浮点运算次数3、Latency 延迟4、FPS 每秒传输帧数指标间的关系网络的运算速度与什么有关?学习前言很多同学在学习时想到轻量化这一优化方案,但常常面对到一个困境是为什么参数量减少了,速度反而变慢了?在这个博客中,我会对网络中常用的计算量衡量指标进行解析。网络的运算时组成目前大部分的轻原创 2022-10-16 17:05:49 · 20724 阅读 · 43 评论 -
神经网络学习小记录71——Tensorflow2 使用Google Colab进行深度学习
神经网络学习小记录71——Tensorflow2 使用Colab进行深度学习学习前言什么是Google ColabColab官网利用Colab进行训练一、数据集与预训练权重的上传1、数据集的上传2、预训练权重的上传二、打开Colab并配置环境1、笔记本的创建2、环境的简单配置3、深度学习库的下载4、数据集的复制与解压5、保存路径设置三、开始训练1、标注文件的处理2、训练文件的处理a、预训练文件的使用b、保存周期的设置3、开始训练断线怎么办?1、防掉线措施2、完了还是掉线呀?总结学习前言Colab是谷歌提原创 2022-06-24 01:01:30 · 2604 阅读 · 13 评论 -
神经网络学习小记录70——Keras 使用Google Colab进行深度学习
神经网络学习小记录69——Keras 使用Colab进行深度学习学习前言什么是Google ColabColab官网利用Colab进行训练一、数据集与预训练权重的上传1、数据集的上传2、预训练权重的上传二、打开Colab并配置环境1、笔记本的创建2、环境的简单配置3、深度学习库的下载4、数据集的复制与解压三、开始训练1、标注文件的处理2、训练文件的处理a、预训练文件的使用b、保存位置的设置c、保存周期的设置3、开始训练断线怎么办?总结学习前言Colab是谷歌提供的一个云学习平台,Very Nice,最近原创 2022-05-02 22:56:41 · 2276 阅读 · 19 评论 -
神经网络学习小记录69——Pytorch 使用Google Colab进行深度学习
神经网络学习小记录70——Pytorch 使用Colab进行深度学习学习前言什么是Google ColabColab官网利用Colab进行训练一、数据集与预训练权重的上传1、数据集的上传2、预训练权重的上传二、打开Colab并配置环境1、笔记本的创建2、环境的简单配置3、深度学习库的下载4、数据集的复制与解压三、开始训练1、标注文件的处理2、训练文件的处理a、预训练文件的使用b、保存位置的设置c、保存周期的设置3、开始训练断线怎么办?总结学习前言Colab是谷歌提供的一个云学习平台,Very Nice,原创 2022-04-11 01:24:45 · 33902 阅读 · 103 评论 -
神经网络学习小记录68——Tensorflow2版 Vision Transformer(VIT)模型的复现详解
神经网络学习小记录68——Tensorflow2版 Vision Transformer(VIT)模型的复现详解学习前言什么是Vision Transformer(VIT)代码下载Vision Transforme的实现思路一、整体结构解析二、网络结构解析1、特征提取部分介绍a、Patch+Position Embeddingb、Transformer EncoderI、Self-attention结构解析II、Self-attention的矩阵运算III、MultiHead多头注意力机制IV、Transf原创 2022-02-21 15:37:10 · 11302 阅读 · 50 评论 -
神经网络学习小记录67——Pytorch版 Vision Transformer(VIT)模型的复现详解
神经网络学习小记录67——Pytorch版 Vision Transformer(VIT)模型的复现详解学习前言什么是Vision Transformer(VIT)代码下载Vision Transforme的实现思路一、整体结构解析二、网络结构解析1、特征提取部分介绍a、Patch+Position Embeddingb、Transformer EncoderI、Self-attention结构解析II、Self-attention的矩阵运算III、MultiHead多头注意力机制IV、Transforme原创 2022-01-23 18:30:47 · 29547 阅读 · 115 评论 -
神经网络学习小记录66——Keras版 Vision Transformer(VIT)模型的复现详解
神经网络学习小记录66——Vision Transformer(VIT)模型的复现详解学习前言什么是Vision Transformer(VIT)代码下载Vision Transforme的实现思路一、整体结构解析二、网络结构解析1、特征提取部分介绍a、Patch+Position Embeddingb、Transformer EncoderI、Self-attention结构解析II、Self-attention的矩阵运算III、MultiHead多头注意力机制IV、TransformerBlock的构建原创 2022-01-03 17:51:51 · 15160 阅读 · 82 评论 -
神经网络学习小记录64——Pytorch 图像处理中注意力机制的解析与代码详解
神经网络学习小记录63——Pytorch 图像处理中注意力机制的解析与代码详解学习前言什么是注意力机制代码下载注意力机制的实现方式1、SENet的实现2、CBAM的实现3、ECA的实现学习前言注意力机制是一个非常有效的trick,注意力机制的实现方式有许多,我们一起来学习一下。什么是注意力机制注意力机制是深度学习常用的一个小技巧,它有多种多样的实现形式,尽管实现方式多样,但是每一种注意力机制的实现的核心都是类似的,就是注意力。注意力机制的核心重点就是让网络关注到它更需要关注的地方。当我们使用卷原创 2021-12-26 15:30:35 · 84450 阅读 · 411 评论 -
神经网络学习小记录63——Keras 图像处理中注意力机制的代码详解与应用
神经网络学习小记录63——Keras 各类注意力机制解析与代码详解学习前言什么是注意力机制学习前言注意力机制是一个非常有效的tricks,注意力机制的实现方式有许多,我们一起来学习一下。什么是注意力机制...原创 2021-12-08 20:20:44 · 15445 阅读 · 102 评论 -
神经网络学习小记录62——Tensorflow2 利用efficientnet系列模型搭建yolov3目标检测平台
神经网络学习小记录62——Tensorflow2 利用efficientnet系列模型搭建efficientnet-yolov3目标检测平台学习前言什么是EfficientNet模型源码下载EfficientNet模型的实现思路1、EfficientNet模型的特点2、EfficientNet网络的结构EfficientNet的代码构建1、模型代码的构建2、Yolov3上的应用学习前言重新训练了一下efficientnet-yolov3,发现效果还不错,决定把以前的坑补上。什么是EfficientN原创 2021-11-29 12:15:32 · 4036 阅读 · 13 评论 -
神经网络学习小记录61——Tensorflow2 搭建常见分类网络平台(VGG16、MobileNet、ResNet50)
神经网络学习小记录61——Tensorflow2 搭建常见分类网络平台(VGG16、MobileNet、ResNet50)学习前言源码下载分类网络的常见形式分类网络介绍1、VGG16网络介绍2、MobilenetV1网络介绍3、ResNet50网络介绍a、什么是残差网络b、什么是ResNet50模型分类网络的训练1、LOSS介绍2、利用分类网络进行训练学习前言tf2的分类代码也要做一下。源码下载https://github.com/bubbliiiing/classification-tf2喜欢原创 2021-11-15 11:44:00 · 11343 阅读 · 38 评论 -
神经网络学习小记录60——Pytorch GhostNet模型的复现详解
神经网络学习小记录60——Pytorch GhostNet模型的复现详解学习前言什么是GhostNet模型源码下载GhostNet模型的实现思路1、Ghost Module2、Ghost Bottlenecks3、Ghostnet的构建GhostNet的代码构建1、模型代码的构建2、Yolov4上的应用学习前言GhostNet是华为诺亚方舟实验室提出来的一个非常有趣的网络,我们一起来学习一下。什么是GhostNet模型2020年,华为新出了一个轻量级网络,命名为GhostNet。在优秀CNN模型原创 2021-10-24 13:05:43 · 20422 阅读 · 99 评论 -
深度学习环境配置8——(30系显卡)windows下的torch==1.7.1环境配置
深度学习环境配置8——(30系显卡)windows下的torch==1.7.0环境配置注意事项一、2021/10/8更新学习前言环境内容环境配置一、Anaconda安装1、Anaconda的下载2、Anaconda的安装二、Cudnn和CUDA的下载和安装1、Cudnn和CUDA的下载2、Cudnn和CUDA的安装三、配置tensorflow2-gpu环境1、tensorflow2-gpu环境的创建与激活2、tensorflow2-gpu库的安装3、其它依赖库的安装4、安装较慢请注意换源四、安装VSCODE原创 2021-10-13 18:00:43 · 88244 阅读 · 243 评论 -
深度学习环境配置7——(30系显卡)windows下的tensorflow-gpu==2.4.0环境配置
深度学习环境配置7——(30系显卡)windows下的tensorflow-gpu==2.4.0环境配置注意事项一、2021/10/8更新学习前言环境内容环境配置一、Anaconda安装1、Anaconda的下载2、Anaconda的安装二、Cudnn和CUDA的下载和安装1、Cudnn和CUDA的下载2、Cudnn和CUDA的安装三、配置tensorflow2-gpu环境1、tensorflow2-gpu环境的创建与激活2、tensorflow2-gpu库的安装3、其它依赖库的安装4、安装较慢请注意换源四原创 2021-10-08 19:46:16 · 25915 阅读 · 144 评论 -
深度学习环境配置6——windows下的tensorflow-cpu=2.2.0环境配置
深度学习环境配置6——windows下的tensorflow-cpu=2.2.0环境配置学习前言环境内容环境配置一、Anaconda安装1、Anaconda的下载2、Anaconda的安装二、配置tensorflow2环境1、tensorflow2环境的创建与激活2、tensorflow2库的安装3、其它依赖库的安装4、安装较慢请注意换源三、安装VSCODE1、下载安装包安装(推荐)a、VSCODE的下载b、VSCODE的安装2、anaconda上安装学习前言好多人没有显卡想要配置深度学习环境,tens原创 2021-10-08 17:34:04 · 16447 阅读 · 16 评论 -
深度学习环境配置5——windows下的torch-cpu=1.2.0环境配置
深度学习环境配置5——windows下的torch-cpu=1.2.0环境配置学习前言环境内容环境配置一、Anaconda安装1、Anaconda的下载2、Anaconda的安装二、配置pytorch环境1、pytorch环境的创建与激活2、pytorch库的安装3、其它依赖库的安装4、安装较慢请注意换源三、安装VSCODE1、下载安装包安装(推荐)a、VSCODE的下载b、VSCODE的安装2、anaconda上安装学习前言好多人没有显卡想要配置深度学习环境,torch-gpu那个博客就没有什么用了,原创 2021-10-08 16:59:39 · 41927 阅读 · 92 评论 -
深度学习环境配置4——windows下的tensorflow-cpu=1.13.2环境配置
神经网络学习小记录60——windows下的tensorflow-cpu=1.13.2环境配置学习前言环境内容环境配置一、Anaconda安装1、Anaconda的下载2、Anaconda的安装二、配置tensorflow环境1、tensorflow环境的创建与激活2、tensorflow库的安装3、其它依赖库的安装4、安装较慢请注意换源三、安装VSCODE1、下载安装包安装(推荐)a、VSCODE的下载b、VSCODE的安装2、anaconda上安装学习前言好多人没有显卡想要配置深度学习环境,tens原创 2021-10-08 16:31:57 · 10454 阅读 · 10 评论 -
神经网络学习小记录59——Pytorch搭建常见分类网络平台(VGG16、MobileNetV2、ResNet50)
神经网络学习小记录55——Pytorch搭建常见分类网络平台(VGG16、MobileNetV2、ResNet50)学习前言源码下载分类网络的常见形式分类网络介绍1、VGG16网络介绍2、MobilenetV2网络介绍3、ResNet50网络介绍a、什么是残差网络b、什么是ResNet50模型分类网络的训练1、LOSS介绍2、利用分类网络进行训练学习前言才发现做了这么多的博客和视频,居然从来没有系统地做过分类网络,做一个科学的分类网络,对身体好。源码下载https://github.com/bub原创 2021-08-23 17:22:41 · 27033 阅读 · 197 评论 -
神经网络学习小记录58——Keras GhostNet模型的复现详解
神经网络学习小记录60——Keras GhostNet模型的复现详解学习前言什么是GhostNet模型GhostNet模型的实现思路1、Ghost Module2、Ghost Bottlenecks3、Ghostnet的构建GhostNet的代码构建学习前言GhostNet是华为诺亚方舟实验室提出来的一个非常有趣的网络,我们一起来学习一下。什么是GhostNet模型2020年,华为新出了一个轻量级网络,命名为GhostNet。在优秀CNN模型中,特征图存在冗余是非常重要的。如图所示,这个是对Re原创 2021-07-29 09:22:51 · 7450 阅读 · 35 评论 -
神经网络学习小记录57——各类激活函数Activation Functions介绍与优缺点分析
神经网络学习小记录57——各类激活函数Activation Functions介绍与优缺点分析学习前言什么是激活函数常用的激活函数1、Sigmoid2、Tanh3、ReLU先进的激活函数1、LeakyReLU2、PReLU3、ReLU64、Swish5、Mish5、Swish和Mish的梯度对比。绘制代码学习前言激活函数在神经网络当中的作用是赋予神经网络更多的非线性因素。如果不用激活函数,网络的输出是输入的线性组合,这种情况与最原始的感知机相当,网络的逼近能力相当有限。如果能够引入恰当的非线性函数作为激原创 2021-05-28 10:54:27 · 9493 阅读 · 22 评论 -
神经网络学习小记录56——Batch Normalization层的原理与作用
神经网络学习小记录57——Batch Normalization层的原理与作用学习前言什么是Batch NormalizationBatch Normalization的计算公式Bn层的好处为什么要引入γ和β变量Bn层的代码实现学习前言Batch Normalization是神经网络中常用的层,解决了很多深度学习中遇到的问题,我们一起来学习一哈。什么是Batch NormalizationBatch Normalization是由google提出的一种训练优化方法。参考论文:Batch Norma原创 2021-03-19 10:35:33 · 17419 阅读 · 16 评论 -
神经网络学习小记录55——Keras搭建常见分类网络平台(VGG16、MobileNet、ResNet50)
神经网络学习小记录54——Keras搭建常见分类网络平台(VGG16、MobileNet、ResNet50)学习前言源码下载分类网络的常见形式分类网络介绍1、VGG16网络介绍2、MobilenetV1网络介绍3、ResNet50网络介绍a、什么是残差网络b、什么是ResNet50模型分类网络的训练1、LOSS介绍2、利用分类网络进行训练学习前言才发现做了这么多的博客和视频,居然从来没有做过分类网络,做一个科学的分类网络,对身体好。源码下载https://github.com/bubbliiiin原创 2021-01-26 14:11:27 · 19706 阅读 · 102 评论 -
深度学习环境配置3——windows下的tensorflow-gpu=2.2.0环境配置
神经网络学习小记录54——windows下的tensorflow-gpu=2.2.0环境配置学习前言环境内容Anaconda安装下载Cudnn和CUDA配置tensorflow环境安装VSCODE学习前言TF2的环境配置视频也弄一下吧环境内容tensorflow-gpu:2.2.0无需装keras,tensorflow因为自带了。Anaconda安装最新版本的Anaconda没有VSCODE,如果大家为了安装VSCODE方便可以直接安装旧版的Anaconda,百度网盘连接如下。也可以装新版然原创 2020-10-29 15:54:58 · 49867 阅读 · 114 评论 -
神经网络学习小记录53——TF2搭建孪生神经网络(Siamese network)比较图片相似性
神经网络学习小记录53——TF2搭建孪生神经网络比较图片相似性(tensorflow2)学习前言什么是孪生神经网络孪生神经网络的实现思路一、预测部分1、主干网络介绍2、比较网络二、训练部分1、数据集的格式2、Loss计算训练自己的孪生神经网络1、训练本文所使用的Omniglot例子2、训练自己相似性比较的模型学习前言实现一下TF2版本的孪生神经网络。什么是孪生神经网络简单来说,孪生神经网络(Siamese network)就是“连体的神经网络”,神经网络的“连体”是通过共享权值来实现的,如下图所示原创 2020-08-26 16:32:33 · 10535 阅读 · 57 评论 -
神经网络学习小记录52——Pytorch搭建孪生神经网络(Siamese network)比较图片相似性
神经网络学习小记录52——Pytorch 搭建孪生神经网络比较图片相似性学习前言什么是孪生神经网络孪生神经网络的实现思路一、预测部分1、主干网络介绍2、比较网络二、训练部分1、数据集的格式2、Loss计算训练自己的孪生神经网络1、训练本文所使用的Omniglot例子2、训练自己相似性比较的模型学习前言也学习一下Pytorch版本的。什么是孪生神经网络简单来说,孪生神经网络(Siamese network)就是“连体的神经网络”,神经网络的“连体”是通过共享权值来实现的,如下图所示。所谓权值共享原创 2020-08-04 17:27:41 · 35578 阅读 · 173 评论 -
神经网络学习小记录51——Keras搭建孪生神经网络(Siamese network)比较图片相似性
神经网络学习小记录51——Keras 搭建孪生神经网络比较图片相似性学习前言什么是孪生神经网络孪生神经网络的实现思路一、预测部分1、主干网络介绍学习前言最近学习了一下如何比较两张图片的相似性,用到了孪生神经网络,一起来学习一下。什么是孪生神经网络简单来说,孪生神经网络(Siamese network)就是“连体的神经网络”,神经网络的“连体”是通过共享权值来实现的,如下图所示。所谓权值共享就是当神经网络有两个输入的时候,这两个输入使用的神经网络的权值是共享的(可以理解为使用了同一个神经网络)。原创 2020-07-29 19:19:36 · 23631 阅读 · 160 评论 -
神经网络学习小记录-番外篇——常见问题汇总
神经网络学习小记录-番外篇——常见问题汇总前言问题汇总1、下载问题2、环境配置问题3、shape不匹配问题a、训练时shape不匹配问题b、预测时shape不匹配问题4、no module问题5、显存问题6、训练问题7、乱七八糟的问题前言搞个问题汇总吧,不然一个一个解释也挺难的。问题汇总1、下载问题问:up主,可以给我发一份代码吗,代码在哪里下载啊?答:Github上的地址就在视频简介里。复制一下就能进去下载了。问:up主,为什么我下载的代码里面,model_data下面没有.pth或者.h原创 2020-07-22 17:09:44 · 93388 阅读 · 1199 评论 -
神经网络学习小记录50——Pytorch 利用efficientnet系列模型搭建yolov3目标检测平台
神经网络学习小记录50——Pytorch EfficientNet模型的复现详解学习前言什么是EfficientNet模型EfficientNet模型的特点EfficientNet网络的结构EfficientNet网络部分实现代码学习前言也看看Pytorch版本的Efficientnet。什么是EfficientNet模型2019年,谷歌新出EfficientNet,网络如其名,这个网络非常的有效率,怎么理解有效率这个词呢,我们从卷积神经网络的发展来看:从最初的VGG16发展到如今的Xcepti原创 2020-07-13 10:11:51 · 17527 阅读 · 71 评论 -
神经网络学习小记录49——Pytorch当中Tensorboard的使用
神经网络学习小记录48——Pytorch当中Tensorboard的使用学习前言所需库的安装常用函数功能1、SummaryWriter()2、writer.add_graph()3、writer.add_scalar()示例代码学习前言很多人问Pytorch要怎么可视化,于是决定搞一篇。所需库的安装tensorboardX==2.0tensorflow==1.13.2常用函数功能1、SummaryWriter()这个函数用于创建一个tensorboard文件,其中常用参数有:log_原创 2020-06-13 16:41:38 · 25345 阅读 · 30 评论 -
深度学习环境配置2——windows下的torch=1.2.0环境配置
神经网络学习小记录48——windows下的torch=1.2.0环境配置学习前言环境内容Anaconda安装下载Cudnn和CUDA配置torch环境安装VSCODE学习前言好多人问环境怎么配置,还是出个教程吧。环境内容torch:1.2.0torchvision:0.4.0Anaconda安装最新版本的Anaconda没有VSCODE,如果大家为了安装VSCODE方便可以直接安装旧版的Anaconda,百度网盘连接如下。也可以装新版然后分开装VSCODE。链接: https://pan原创 2020-05-10 16:05:23 · 239332 阅读 · 725 评论 -
神经网络学习小记录47——ShuffleNetV2模型的复现详解
神经网络学习小记录47——ShuffleNetV2模型的复现详解学习前言什么是ShuffleNetV2代码下载Densenet1、Densenet的整体结构2、DenseBlock3、Transition Layer网络实现代码学习前言据说ShuffleNetV2比Mobilenet还要厉害,我决定好好学一下。什么是ShuffleNetV2ResNet模型的出现使得深度学习神经网络可以变...原创 2020-04-13 13:32:28 · 10671 阅读 · 19 评论 -
神经网络学习小记录46——Densenet模型的复现详解
神经网络学习小记录46——Densenet模型的复现详解学习前言什么是Densenet代码下载Densenet1、Densenet的整体结构2、DenseBlock3、Transition Layer网络实现代码学习前言据说Densenet比Resnet50还要厉害,我决定好好学一下。什么是DensenetResNet模型的出现使得深度学习神经网络可以变得更深,进而实现了更高的准确度。R...原创 2020-04-13 01:00:48 · 13336 阅读 · 17 评论 -
神经网络学习小记录45——Keras常用学习率下降方式汇总
神经网络学习小记录45——Keras常用学习率下降方式汇总前言为什么要调控学习率下降方式汇总1、阶层性下降2、指数型下降3、余弦退火衰减前言学习率是深度学习中非常重要的一环,好好学习吧!为什么要调控学习率在深度学习中,学习率的调整非常重要。学习率大有如下优点:1、加快学习速率。2、帮助跳出局部最优值。但存在如下缺点:1、导致模型训练不收敛。2、单单使用大学习率容易导致模型不精...原创 2020-04-06 00:11:48 · 10395 阅读 · 11 评论 -
神经网络学习小记录44——训练资源汇总贴
神经网络学习小记录44——训练资源汇总贴前言权值文件1、迁移学习(传统神经网络)2、目标检测3、实例分割4、语义分割数据集1、迁移学习(传统神经网络)2、目标检测3、实例分割4、语义分割前言包含我所有教程内所需的一些权值文献以及数据集,如果有什么缺的地方欢迎补充。权值文件1、迁移学习(传统神经网络)1、Mobilenet链接: https://pan.baidu.com/s/1hmC...原创 2020-03-27 15:10:04 · 27668 阅读 · 61 评论