CS231n神经网络详解（其结构，优化，近年网络实例解析，迁移学习【小dataset】）

最新推荐文章于 2024-08-09 00:17:31 发布
最新推荐文章于 2024-08-09 00:17:31 发布
阅读量347 收藏
点赞数
分类专栏： CS231n
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41553038/article/details/82978528
版权
本文深入探讨了神经网络的结构，包括卷积层、池化层、全连接层及其优化技巧，如Alexnet和ResNet。特别强调了在小数据集上利用迁移学习提升模型性能的方法。
摘要由CSDN通过智能技术生成

神经网络详解

在这里插入图片描述

加一圈0，pad保持卷积后尺寸不变在这里插入图片描述

不加一圈0，尺寸会逐步快速减小
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
总结（卷积层数量计算公式）
在这里插入图片描述
1*1的滤波器来卷积也是有意义的（因为有深度），一般用奇数（有左右）
在这里插入图片描述

局部连接性（全局连接太大）

每个深度方向（如下5个不同的神经元）都看着输入数据相同的部分，
28*28个都在局部空间内寻找垂直的条形（轮廓）
在这里插入图片描述
以上讲的是卷积层和relu层
在这里插入图片描述

poling池化层采样（一般向下采样）

在这里插入图片描述

最大池化

在这里插入图片描述
还有平均pooling
在这里插入图片描述
如F=2,S=2
就每次不断缩小2倍

全连接层

在这里插入图片描述

以Alexnet（单线简化版）

在这里插入图片描述
在这里插入图片描述
池化层没有参数
在这里插入图片描述
用滤波器做卷积时所有神经元共享参数，反向传播要当心，所有滤波器的梯度都汇总到一个权重blob

（如上图）训练细节：

拿到图像后不直接使用而是先对其处理一下（尺寸，颜色，噪声等，0.5随机失活）

##ZFnet实例
在这里插入图片描述
vgg-Net
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
全连接层参数量过大，现在往往采用均值化技术减少（对每个volume（feature map 求均值）得到512个数），从而减小量（效果差不多）

googlenet（加入inception模块）

在这里插入图片描述
在这里插入图片描述

ResNet（3.7%）

在这里插入图片描述
在这里插入图片描述
more layers better（加层时同时改正错误率，否则适得其反）
但你需要2-3周用8个GPU训练得到
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

如何训练一个残差网络

残差网络是恒等的
在这里插入图片描述
总结
红色为一般结构公式总结
在这里插入图片描述

迁移学习（用于小数据集训练）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
数据量很小，可以先在大数据上预训练，再应用到自己的数据集上

@ZeKing
关注
专栏目录
人工智能演进之路：神经网络两落三起
程序员光剑
07-05 4367
本文我将以"人工智能演进之路：神经网络两落三起"为标题,撰写一篇详细的技术博客文章。这篇文章将深入探讨神经网络在人工智能发展历程中的起起落落,以及其对AI领域的深远影响。我会严格遵循您提供的约束条件和内容要求。下面是文章的正文内容:人工智能(AI)作为计算机科学的一个重要分支,自20世纪50年代诞生以来,经历了几代人的努力和探索。在这漫长的发展历程中,神经网络无疑是最具代表性和影响力的技术之一。它模仿人脑的结构和工作原理,通过大量的互连节点(神经元)构建复杂的网络,以实现类似人类的学习和决策能力。然而,神经
小样本学习 (FewShot Learning) 原理与代码实例讲解
最新发布
程序员光剑
08-24 294
小样本学习 (Few-Shot Learning) 原理与代码实例讲解 关键词： 小样本学习 几次学习 弱监督学习 迁移学习 基于原型的学习 适应性学习
神经网络的架构优化方法有,神经网络的优化算法
super339的博客
08-10 1251
人类的神经网络2.神经网络基础知识构成：大量简单的基础元件——神经元相互连接工作原理：模拟生物的神经处理信息的方式功能：进行信息的并行处理和非线性转化特点：比较轻松地实现非线性映射过程，具有大规模的计算能力神经网络的本质：神经网络的本质就是利用计算机语言模拟人类大脑做决定的过程。deeplearinig就是神经网络的一类，就是解决的训练问题的深层神经网络，所以你这问题“深度学习会代替神经网络‘就不对，BP么，BP有自己的优势，也是很成熟的算法，做手写识别等等效果已经商用化了，不会被轻易替代。...
清华大学张长水教授：神经网络模型的结构优化
吉良的博客
04-23 2633
清华大学张长水教授：神经网络模型的结构优化 转自搜狐：▼▼▼▼点击下方原标题跳转至原文 原标题：清华大学张长水教授：神经网络模型的结构优化（附PPT） 张长水教授，清华大学自动化系教授、博士生导师，智能技术与系统国家重点实验室学术委员会委员，智能技术与系统国家重点实验室副主任。主要从事机器学习、模式识别、人工智能、计算机视觉等领域的教学和科研工作。 以下是根据张长水教授现场分享整理的文字...
ReZero：使用加权残差连接加速深度模型收敛
sjyttkl的专栏
03-23 3365
文标题： Thomas Bachlechner, Bodhisattwa Prasad Majumder, Huanru Henry Mao, Garrison W. Cottrell, Julian McAuley 论文作者： Thomas Bachlechner, Bodhisattwa Prasad Majumder, Huanru Henry Mao, Garrison W. Cot...
神经网络结构优化算法
05-24
Abstract— Training neural networks is a complex task of great importance in the supervised learning field of research. We intend to show the superiority (time performance and quality of solution) of the new metaheuristic bat algorithm (BA) over other more ―standard‖ algorithms in neural network training. In this work we tackle this problem with five algorithms, and try to over a set of results that could hopefully foster future comparisons by using a standard dataset (Proben1: selected benchmark composed of problems arising in the field of Medicine) and presentation of the results. We have selected two gradient descent algorithms: Back propagation and Levenberg- Marquardt, and three population based heuristic: Bat Algorithm, Genetic Algorithm, and Particle Swarm Optimization. Our conclusions clearly establish the advantages of the new metaheuristic bat algorithm over the other algorithms in the context of eLearning
深度学习之路（3）神经网络结构和参数优化
NO_1967的博客
07-18 2535
书籍参考 参考英文在线书籍 Neural Networks and Deep Learning 第三章。 对应原文Chapter3内容特别好。作者为了让读者直观感受学习过程，还嵌入了算法和图，读者可以点击相应按钮看到神经网络的学习过程，其Cost随Epoch的变化曲线。 博文提要 前面讲了神经网络学习过程的重要环节——梯度下降法，重点讲了该方法用的反向传播原理，它大大减小了梯度求算的时间复杂度。 我们在了解机器学习算法之初，可能就听说过算法工程师的日常工作——调参。不同于上面学习过程的调参（算法自动调节神经
AI人工智能深度学习算法：神经网络的复杂性与能力
AI架构设计之禅
07-07 963
人工智能（AI）领域在过去十年中取得了巨大的进展，其中深度学习算法和神经网络模型扮演了关键角色。神经网络，作为深度学习的核心组件，以其强大的学习能力和灵活的结构，在各种复杂任务中展现出惊人的性能。然而，随着神经网络模型变得越来越复杂，其内部机制和能力边界也变得愈发难以理解和预测。本文将深入探讨神经网络的复杂性及其所带来的强大能力，剖析其背后的原理，并探讨其在现实世界中的应用及未来发展趋势。神经网络的核心原理是模拟人脑的神经元结构和信息处理方式。
基于生成对抗网络的艺术品仿真与风格迁移技术
程序员光剑
08-09 877
生成对抗网络（Generative Adversarial Networks，简称GANs）自2014年由Ian Goodfellow等人提出以来，迅速成为深度学习领域的一个重要研究方向。GANs通过两个神经网络——生成器（Generator）和判别器（Discriminator）之间的对抗训练，能够生成逼真的图像、音频和文本等数据。近年来，GANs在艺术品仿真与风格迁移方面展现出了巨大的潜力，能够将一幅图像的风格迁移到另一幅图像上，甚至生成全新的艺术作品。
了解神经网络结构和优化方法
CNRalap的博客
05-27 1746
了解神经网络结构和优化方法 了解基础算子 conv2D conv2D是卷积神经网络的操作函数，即二维卷积，在pytorch中查得如下： torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode=‘zeros’, device=None, dtype=None) 其中前三个参数需要手动传入，其余参数均有默认值。 in_cha
神经网络结构搜索【ICCV 2019】.zip
11-21
神经网络结构搜索(Neural architecture search, NAS)是一种自动化设计人工神经网络的技术。由于NAS能设计出与手工设计神经网络结构相当甚至优于手工设计结构的网络，而成为近两年深度学习社区的研究热点，火爆全球。来自Google的科学家Barret Zoph，今日在ICCV2019上，做了《Neural Architecture Search and Beyond》的报告，讲述了Google在NAS方面的最新研究进展。
【计算机科学】【2017.08】卷积神经网络结构的分析与优化
weixin_42825609的博客
03-04 309
本文为德国卡尔斯鲁厄理工学院（作者：Martin Thoma）的硕士论文，共134页。 卷积神经网络（CNN）在各种计算机视觉任务中占据主导地位，因为Alex Krizhevsky证明了它们可以有效地训练，并将ImageNet大规模视觉识别挑战中的前5项错误率从26.2%降低到15.3%。CNN的许多方面都在各种出版物中进行了研究，但是有关神经网络结构的分析和构建的文献却很少。本项工作是缩小这一...
卷积神经网络 + 机器视觉： L9_VGG_GoogleNet_ResNet (斯坦福CS231n）
Kuo_Jun_Lin的博客
05-25 739
完整的视频课堂链接如下： https://www.youtube.com/watch?v=DAOcjicFr1Y&list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv&index=9 完整的视频课堂投影片连接： http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture9.pdf 前一課堂筆記連...
Resnet残差网络（图像分类/迁移学习）
m0_64346597的博客
07-25 461
将数据集整理好放在正确的位置即可，视频下方有评论遇到的问题，参照着解决即可。残差网络resnet可用于迁移学习，学习过程参考哔哩哔哩。博主的github源码。
ResNet、残差结构、迁移学习
shmilyluxinyao的博客
04-19 2643
文章目录前言一、ResNet二、残差结构BN层三、迁移学习 前言 机器学习基本知识——Resnet、残差结构、迁移学习 参考内容来自b站up主：https://space.bilibili.com/18161609 一、ResNet ResNet在2015年由微软实验室提出，获得ImageNet竞赛中多个项目的第一名。其网络中的特点有以下三点： 超深的网络结构（突破1000层） 提出residual（残差）模块 使用Batch Normalization加速训练（丢弃dropout） ResNet3
cs231n-(8)理解和可视化卷积网络
KangRoger的专栏
02-18 4870
理解卷积神经网络学习内容，可视化
【CS231N笔记】P11:经典卷积神经网络结构案例分析
博客标题不能为空我也没办法
11-22 2300
经典卷积神经网络结构案例分析
吴恩达深度学习 第三课 残差网络 谷歌Inception模型 迁移学习
得克特
01-14 1113
文章目录残差网络残差网络为什么有用谷歌Inception模型1*1卷积Inception迁移学习(transfer learning)数据增强基准测试(benchmark) 残差网络 非常深的神经网络是很难训练的，因为存在梯度消失和梯度爆炸的问题。跳跃连接(skip connection)，可以从一层神经网络获取激活，然后迅速反馈给更深的神经网络，我们可以利用跳跃连接来构建深层的网络。 ResNe...
R语言与机器学习学习笔记（分类算法）（5）神经网络
zhangbdaxia的专栏
01-16 2594
算法五：神经网络(优化算法) 原文链接：http://www.52analysis.com/R/1627.html   人工神经网络(ANN)，简称神经网络，是一种模仿生物神经网络的结构和功能的数学模型或计算模型。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间
CS231n课程关键术语：神经网络与计算机视觉
在斯坦福大学的公开课CS231n《卷积神经网络》中，提供了丰富的术语汇编，旨在帮助初学者理解该领域的关键概念。以下是一些重要的术语及其中文翻译，这些内容涵盖了课程的第一讲至初步的概念介绍： 1. **3D ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值