增加网络层数和更换神经网络

最新推荐文章于 2023-05-10 10:31:57 发布
最新推荐文章于 2023-05-10 10:31:57 发布
阅读量2.9k 收藏 7
点赞数 1
分类专栏： 组会记录 文章标签： 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kang0802/article/details/109768891
版权

增加网络层数和更换神经网络

增加网络层数

成果和收获

因为Resnet有不同的层数，所以直接在原来网络的基础上进行了修改，出乎意料的是很顺利的完成了。
于是分别采用18-layer、34-layer、101-layer的网络层数进行了对比。
而且我突发奇想将18-layer所有层的参数打开进行了训练，效果emmmm，看下一部分吧，哈哈！
实验结果及图片

  • ISTA 34-layerISTA 34-layer
  • ISTA 101-layer

ISTA 101-layer

  • 1027种子 34-layer
    1027种子 34-layer
  • 1027 种子 101layer
    在这里插入图片描述

存在的问题

  1. 效果不明显，虽然网络层数进行了增加，但是效果并没有想象中的明显，甚至还有几个效果更差了。最高的也只有1%左右的提升。
  2. 说一下把所有层的参数都打开后的结果…
    看图！
    所有层参数打开
    哈哈哈哈哈，允许我自己笑一下 。
    好了，正经的分析结果：之前都是采用的预训练的网络，冻结除最后一层的所有参数，将其打开后，由于数据量太少，出现了过拟合现象（小组的组员有人赞同我的说法应该是这个原因）。
  3. 训练时间太长，我记得跑两数据集的34-layer和101-layer用了两天的时间。（还不算我中间一次**的关机，幸亏后面找回了部分数据）。

更换网络模型

模型一

因为写论文的时候老师指出没有对比，所以我先用之前用过的效果不太好的模型做了一下对比。
mobilenetv2模型该模型的结构较小，应该属于轻量级的模型。
本来我还好心存侥幸可能多训练几次准确率就上去了
实验结果如下图
mobilenetv2 150次
mobilenetv2 150次
可以看出效果没有resnet那么高，但并没有差很多？
并不是测试集由于图片数量少，所以看起来差距没有那么明显，但是自习看训练集，还是有一定的差距的。

模型二

实验失败
这个改进拟采用NTSNET作为网络模型。但是存在一个问题，该网络没有可以直接调用的模型。
找到了两个可以用的文件：
一个是直接最后使用的模型，只能对鸟类进行分类，并输出鸟的种类。
另一个是一个训练文件，但是其只适用于该鸟类的数据集，上面有一定的标记。但是我们自己的数据库并没有这些标记，当我自己想写数据集的预处理的时候发现自己的编程能力达不到。
最后我选择用它在pytorch官网中的调用方式直接调用，改了半天后，模型终于加载成功，但是，该模型的输出是两个线性通道的特征向量。然后我的能力达不到将其输出一个再进行回归的程度。1

  1. 2020年11月17-18日对该模型输出有了新的想法，准备在研读其论文后证明想法，并进行实践。 ↩︎

野心勃勃但保持谦逊。
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
卷积神经网络的架构创新：超参数调整、网络层数增加、数据增强
光剑书架上的书
07-05 5499
作者：禅与计算机程序设计艺术 卷积神经网络的架构创新：超参数调整、网络层数增加、数据增强 作为一位人工智能专家，程序员和软件架构师，CTO，我今天将和大家分享关于卷积神经网络（CNN）架构的创新方法。在训练CNN模型时，我们需要调整一些超参数以获得最佳
手写数字识别神经网络,手写体识别 神经网络
super339的博客
08-31 1940
尽管人们对手写数字的研究己从事了很长时间的研究，并己取得了很多成果，但到目前为止，机器的识别本领还无法与人的认知能力相比，这仍是一个有难度的开放问题，所以对手写数字识别的进一步研究，寻求如何更高效更准确更节能地实现手写数字的自动录入和识别的解决方案对提高经济效益、推动社会发展都有深远的意义。神经网络方法由于处理的并行性，可以快速同时处理大容量的数据，工作时具有高速度和潜在超高速，并且，网络的最终输出是由所有神经元共同作用的结果，一个神经元的错误对整体的影响很小，所以其容错性也非常的好。...
go context之WithDeadline的使用
papaya的博客
07-11 4028
package main import ( "context" "fmt" "time" ) func main() { // 创建一个子节点的context,3秒后自动取消 ctx, cancel := context.WithDeadline(context.Background(), time.Now().Add(time.Second*3)) go watch(ctx, "监控1") go watch(ctx, "监控2") fmt.Println("现在开始等待5秒,ti.
context.WithDeadline的使用方式
weixin_34211761的博客
06-13 1414
2019独角兽企业重金招聘Python工程师标准>>> ...
golang中context使用——WithTimeout和WithDeadline
archer的技术故事
12-07 5338
程序和上一篇的withCancel是类似的，只是创建子context的方式不同，这里使用的是withTimeout和WithDeadline的方式。 下面，上代码： package main import ( "context" "errors" "fmt" "time" ) var c = 1 func doSome(i int) error { c++ fmt.Prin...
添加神经层
qq_40947321的博客
02-22 201
import tensorflow as tf def add_layer(inputs,in_size,out_size,activate_function=None): Weights = tf.Variable(tf.random_normal([in_size,out_size])) bias = tf.Variable(tf.zeros([1,out_size]))+0.1 Wx_plu...
基于深度信念神经网络语音识别，语音DBN神经网络的语音识别
最新发布
08-06
比如，你可以尝试更换不同的预处理方法，或者增加更多的RBM层来提升模型的表达能力。此外，也可以尝试引入其他深度学习框架，如TensorFlow或PyTorch，来实现更高效的训练和更高的识别精度。 总的来说，这个项目为...
人工神经网络通过调整,神经网络怎么调参数
ynca67269的博客
10-13 1459
若果对你有帮助，请点赞。 神经网络的结构（例如2输入3隐节点1输出）建好后，一般就要求神经网络里的权值和阈值。现在一般求解权值和阈值，都是采用梯度下降之类的搜索算法（梯度下降法、牛顿法、列文伯格-马跨特法、狗腿法等等），这些算法会先初始化一个解，在这个解的基础上，确定一个搜索方向和一个移动步长（各种法算确定方向和步长的方法不同，也就使各种算法适用于解决不同的问题），使初始解根据这个方向和步长移动后，能使目标函数的输出（在神经网络中就是预测误差）下降。然后将它更新为新的解，再继续寻找下一步的移动方向的步长，这
基于Logistic混沌映射改进的原子搜索算法ASO优化BP神经网络回归预测MATLAB代码
05-23
此外，MATLAB作为强大的数值计算和可视化工具，提供了丰富的神经网络库和优化工具箱，使得实现和调试这样的算法变得相对简单。 数据集部分，代码中使用的数据集是以EXCEL格式存储的，这种格式易于读取和处理。用户...
神经网络调参实战（四）—— 加深网络层次 & 批归一化 batch normalization
hxxjxw的博客
10-26 954
我们使用数据增强的方法已经将模型准确率从78.04%提升到了82.6% 在原来数据增强的code基础上 import tensorflow as tf import os import pickle import numpy as np CIFAR_DIR = "dataset/cifar-10-batches-py" # print(os.listdir(CIFAR_DIR)) def load_data(filename): """read data from data..
神经网络增加网络层数,如何确定神经网络层数
m0_54846070的博客
08-21 4013
目前多数文献中提出的确定隐层节点数的计算公式都是针对训练样本任意多的情况，而且多数是针对最不利的情况，一般工程实践中很难满足，不宜采用。二、隐层节点数在BP网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现“过拟合”的直接原因，但是目前理论上还没有一种科学的和普遍的确定方法。二、隐层节点数在BP网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现“过拟合”的直接原因，但是目前理论上还没有一种科学的和普遍的确定方法。
go context学习
weixin_30432579的博客
09-27 675
context学习 context的struct设计 type Context interface { Deadline() (deadline time.Time, ok bool) Done() <-chan struct{} Err() error Value(key interface{}) interface{} } struc...
[GO]go context的deadline方法
weixin_30360497的博客
11-21 883
package main import ( "time" "context" "fmt" ) func main() { d := time.Now().Add(50*time.Millisecond) ctx, cancel := context.WithDeadline(context.Background(), d...
context的WithTimeout、WithDeadline、WithCancel
bobi的博客
05-04 2459
GOOS指的是目标操作系统 GOARCH指的是目标处理器的架构 goland 配置goroot：从官网下载sdk goland 配置gopath：src的上一级，支持多个，当有多个资源时，go get默认第一个使用 Err方法：返回取消的错误原因，Context被取消原因 Go支持匿名函数，如果我们某个函数只是希望使用一次，可以考虑使用匿名函数，匿名函数也可以实现多次调用 WithTimeout...
pytorch入门（四）搭建多层的神经网络
qq_39446239的博客
04-13 5627
文章目录读取数据数据集描述读取数据数据预处理构建计算图选择网络层选择激活函数选择损失函数与优化器常见损失函数训练模型模型评估参考资料 MNIST是一个非常有名的手写体数字识别数据集，在很多资料中，这个数据集都会被用作深度学习的入门样例，接下来将围绕 MNIST数据集 训练多层的神经网络模型。 读取数据 数据集描述 MNIST数据集由250 个不同人手写的数字构成，其训练数据集包含 60,000 个...
Go语言 context的源码分析与典型使用（WithCancel，WithTimeout，WithDeadline，WithValue）
qq_24447809的博客
04-04 901
文章目录context原理Context基本结构WithCancelWithTimeout，WithDeadlineWithValue代码实现 context原理 context 主要用来在 goroutine 之间传递上下文信息，包括取消信号（WithCancel）、超时时间（WithTimeout）、截止时间（WithDeadline）、键值对key-value（WithValue） Context基本结构 源码中Context接口如下： type Context interface { Deadl
Go 语言基础之 Context 详解
程序员祝融
05-10 310
本文将深入探讨 Go 语言中 Context 特性 和 Context 的高级使用方法。
golang基础-网络请求WithTimeout、上下文withValue、withCancel、WithDeadline
全干工程师
11-21 8879
在 Go http包的Server中，每一个请求在都有一个对应的 goroutine 去处理。请求处理函数通常会启动额外的 goroutine 用来访问后端服务，比如数据库和RPC服务。用来处理一个请求的 goroutine 通常需要访问一些与请求特定的数据，比如终端用户的身份认证信息、验证相关的token、请求的截止时间。 当一个请求被取消或超时时，所有用来处理该请求的 goroutine 都应该
神经网络的准确率和损失都很大
04-03
如果神经网络的准确率和损失都很大，可能是因为网络结构不合理、训练数据不够充分、训练过程中出现了过拟合等原因。 为了解决这个问题，可以尝试以下方法： 1. 调整网络结构：增加或减少隐藏层、增加或减少神经元节点、更改激活函数等方式来调整网络结构，以提高准确率和降低损失。 2. 收集更多数据：增加训练数据量可以提高模型的泛化能力，从而提高准确率和降低损失。 3. 数据预处理：对原始数据进行归一化、缩放、去噪等处理，可以提高模型的精度。 4. 正则化：通过L1、L2正则化等方式来防止过拟合，从而提高模型的泛化能力。 5. 学习率调整：调整学习率可以避免训练过程中出现梯度消失或梯度爆炸的问题，从而提高模型的精度。 6. 更换优化算法：尝试不同的优化算法，如SGD、Adam等，以提高训练效果。 7. 调整超参数：调整批量大小、迭代次数、正则化系数等超参数，以提高模型的泛化能力和精度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值