神经网络与深度学习课程-第五周总结

最新推荐文章于 2024-09-04 22:20:33 发布
最新推荐文章于 2024-09-04 22:20:33 发布
阅读量387 收藏 10
点赞数 3
文章标签： 深度学习 神经网络 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/The_N1/article/details/137501119
版权

全连接网络问题

全连接网络

链接权过多，算的慢，难收敛，同时可能进入局部
极小值，也容易产生过拟合问题

解决算的慢问题

减少权值连接，每一个节点只连到上一层的少
数神经元，即局部连接网络。
在这里插入图片描述

深度学习平台简介

在这里插入图片描述
在这里插入图片描述

PyTorch

➢ PyTorch是一个Python的深度学习库。 它最初由Facebook人工智能研
究小组开发， 而优步的Pyro软件则用于概率编程。
➢ 最初， PyTorch由Hugh Perkins开发， 作为基于Torch框架的LusJIT的
Python包装器。 PyTorch在Python中重新设计和实现Torch， 同时为
后端代码共享相同的核心C库。
➢ 除了Facebook之外， Twitter、 GMU和Salesforce等机构都采用了
PyTorch。
➢ 到目前， 据统计已有80%的研究采用PyTorch， 包括Google

PyTorch 和TensorFlow2 的对比

在这里插入图片描述

PyTorch基本使用

基本概念

张量

是一个物理量，对高维 (维数 ≥ 2) 的物理量进行“量纲分析” 的一种工具。简单的可以理解为：一维数组称为矢量，二维数组为二阶张量，三维数组为三阶张量。

计算图

用“结点”（ nodes）和“线” (edges)的有向图来描述数学计算的图像。“节点” 一般用来表示施加的数学操作，但也可以表示数据输入的起点/输出的终点，或者是读取/写入持久变量的终点。“线”表示“节点”之间的输入/输出关系。这些数据“线”可以输运“ size可动态调整”的多维数据数组，即“张量”（ tensor）
在这里插入图片描述

简单示例

构建简单的计算图，每个节点将零个或多个tensor作为输入，产生一个
tensor作为输出。 PyTorch中，所见即为所得， tensor的使用和numpy中的多
维数组类似。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

卷积神经网络基础

基本概念-特征提取

在这里插入图片描述
在这里插入图片描述

基本概念

填充

就是在矩阵的边界上填充一些值，以增加矩阵的大小，通常用0或者复制边界像素来进行填充。
在这里插入图片描述

步长

如图步长为2
在这里插入图片描述

多通道卷积

如RGB
在这里插入图片描述
在这里插入图片描述

基本概念-池化

思想：使用局部统计特征，如均值或最大值。解决特征过多问题。

基本概念-卷积神经网络结构

构成：由多个卷积层和下采样层构成，后面可连接全连接网络
卷积层： 𝑘个滤波器
下采样层：采用mean或max
后面：连着全连接网络
在这里插入图片描述

学习算法

在这里插入图片描述在这里插入图片描述

误差反向传播

经典BP算法在这里插入图片描述

卷积NN的BP算法：下采样层

如果当前是卷积层，下一层为下采样层，误差如何从下采样层回传
假设为22核平均池化
在这里插入图片描述
在这里插入图片描述
如果当前是下采样层，下一层为卷积层，误差如何从卷积回传
假设为22核卷积在这里插入图片描述
在这里插入图片描述
卷积NN的BP算法：卷积层+卷积层
在这里插入图片描述
卷积NN的BP算法：卷积层+全连接层
在这里插入图片描述

The_N1
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Unet改进13：添加RepVGG||减少冗余计算和同时存储访问
m0_51530640的博客
08-31 396
我们提出了一种简单但功能强大的卷积神经网络结构，该结构具有类似vgg的推理时间主体，仅由3 × 3卷积和ReLU堆栈组成，而训练时间模型具有多分支拓扑结构。通过结构重参数化技术实现训练时间和推理时间结构的解耦，将模型命名为RepVGG。在ImageNet上，RepVGG达到了80%以上的top-1精度，据我们所知，这是第一次对一个普通模型。
深度学习(二)
小泽爱刷题的博客
08-31 1212
CUDA是一种并行计算的编程模型，提供了开发者利用GPU的工具和接口，适用于各种需要并行处理的应用程序。CuDNN是一个专门的加速库，建立在CUDA的基础上，针对深度学习中的神经网络操作进行了专门的优化，从而大幅提升计算效率。两者的结合，使得深度学习和其他计算密集型任务在GPU上能够以更快的速度、更高的效率完成Dataset：继承Dataset可以让你自定义如何获取和处理数据。这在处理复杂的数据集时非常有用，例如当数据需要从多个文件加载、进行特殊的预处理或处理非标准格式的数据时。DataLoader。
【开发实战】QT5 + 深度学习六大应用案例
关注微信公众号【OpenCV学堂】
08-29 617
考虑到硬件普适性与高性价比，对于小于30MB的模型，OpenVINO + CPU的解决方案都会是比较合理跟高性价比的。现在OpenVINO2024最新版本还支持大模型+CPU的部署方案，只要几行代码即可完成。它们都支持Python与C++ SDK，支持多种模型压缩与量化机制，支持模型同步与异步推理。QT5 + OpenCV4.8 开发与配置环境搭建，请看博客文章。四 健身智能 - 自动引体向上计数。二 图像修复与自动水印移除。一 人像抠图 背景提取与替换。三 实时人脸识别应用。六 电子围栏语音报警。
AI学习指南深度学习篇-长短时记忆网络python实践
俞兆鹏的博客
08-31 1467
长短时记忆网络（LSTM）是一种能够有效处理序列数据的循环神经网络。与传统的RNN相比，LSTM在解决梯度消失和梯度爆炸等问题上表现更好，使得它在自然语言处理、语音识别等领域广泛应用。TensorFlow是由Google开发的开源深度学习框架，提供了丰富的API和工具，方便进行神经网络的构建、训练和部署。
深度学习--机器学习相关（1）
m0_63860007的博客
09-04 769
过拟合是指模型在训练数据上表现得很好，但是在新的、未见过的数据上表现不佳，即模型的泛化能力差。正则化通过在损失函数中添加一个额外的项来实现，这个额外的项通常与模型的复杂度相关，目的是惩罚模型的复杂度。算法通过计算损失函数在当前参数下的梯度，然后沿着梯度的反方向更新参数，以此减小损失函数的值。梯度平缓通常指的是在梯度下降算法中，当梯度（即损失函数对参数的偏导数）的值变得非常小，接近于零时，参数更新的幅度也会变得很小，这意味着我们接近了损失函数的最小值。在模型的内部，数据经过了非线性变换很难能够保持同分布。
小白学深度学习：知识蒸馏研究综述
gangyikeji的博客
08-30 1160
知识蒸馏是一种教师-学生(Teacher-Student)训练结构，通常是已训练好的教师模型提供知识，学生模型通过蒸馏训练来获取教师的知识。它可以以 轻微的性能损失为代价将复杂教师模型的知识迁移到简单的学生模型中。知识蒸馏与迁移学习思想较为相似，然而它们有以下四点的不同：知识蒸馏中的知识通常是在同一个目标数据集上进行迁移，而迁移学习中的知识往往是在不同目标的数据集上进行转移。知识蒸馏的两个网络可以是同构或者异构的，而迁移学习通常是在单个网络上利用其它领域的数据知识。
强化学习与深度学习的结合
N201871643的博客
09-01 541
强化学习与深度学习的结合目录。
深度学习-VGG16原理和代码详解
PeterClerk的博客
09-01 753
深度学习-VGG16原理和代码详解
深度学习_数据读取到model模型存储
weixin_42504788的博客
08-31 811
深度学习_数据读取到model模型存储
深度学习的发展历程
木亦汐丫
09-04 689
深度学习起源和发展，机器学习中，我们经常使用两种方式来表示特征：局部表示和分布式表示；深度学习是将原始的数据特征通过多步的特征转换得到一种特征表示，并进一步输入到预测函数得到最终结果。深度学习以神经网络为主要模型，一开始用来解决机器学习中的表示学习问题。但是由于其强大的能力，其后深度学习越来越多地用来解决一些通用人工智能问题，比如推理、决策等，广泛应用于车牌识别、人脸识别、语音识别、智能助手、推荐系统、自动驾驶等重大领域。
【Python机器学习】卷积神经网络（CNN）的工具包
weixin_39407597的博客
09-03 418
Python是神经网络工具包最丰富的语言之一。两个主要的神经网络架构分别是Theano和TensorFlow。
第 4 章 第 4 章 卷积神经网络-datawhale ai夏令营
artificiali的博客
09-01 925
全连接网络可以决定它看整张图像还是只看一个范围，如果它只想看一个范围，可以 把很多权重设成 0。全连接层（fully-connected layer，）可以自己决定看整张图像还是一个小范围。感受野加上参数共享就是卷积层 （convolutional layer），用到卷积层的网络就叫卷积神经网络。卷积神经网络的偏差比较大。但模型偏差大不一定是坏事，因为当模型偏差大，模型的灵活性较低时，比较不容易过拟合。接下来通过第 2 个版本的故事来说明卷积神经网络。
语义分割训练精度计算
weixin_42255757的博客
08-28 481
语义分割训练精度的计算
利用深度学习实现验证码识别-1
miracle的专栏
09-01 646
验证码(CAPTCHA)是网络安全中常用的一种机制,用于区分人类用户和自动化程序。然而,随着人工智能技术的发展,计算机视觉和深度学习算法在识别验证码方面取得了显著进展。本文将介绍如何使用PyTorch框架实现一个深度学习模型来识别简单的数字验证码。
深度学习——强化学习算法介绍
swpucwf的博客
09-03 1525
强化学习讨论的问题是一个智能体(agent) 怎么在一个复杂不确定的环境(environment)里面去极大化它能获得的奖励。
基于深度学习的对抗鲁棒性增强
weixin_42605076的博客
09-04 721
基于深度学习的对抗鲁棒性增强方法在不断进化，通过对抗训练、模型正则化、输入预处理、模型集成、元学习和自适应防御等多种策略，大大提升了深度学习模型的安全性和可靠性。未来，随着新技术的引入和研究的深入，模型的对抗鲁棒性将得到进一步提升，为各类应用场景提供更加稳健的保障。
深度学习（九）-图像形态操作
最新发布
weixin_40198632的博客
09-04 99
仿射变换仿射变换是指图像可以通过一系列的几何变换来实现平移、旋转等多种操作。该变换能够保持图像的平直性和平行性。平直性是指图像经过仿射变换后，直线仍然是直线；平行性是指图像在完成仿射变换后，平行线仍然是平行线。平移。
深度学习从入门到精通——基于unet++算法实现细胞分割
swpucwf的博客
09-03 992
这两个评分函数都以模型的真正例为分子，而分母则是真正例、假正例和假负例的总和，以此来衡量模型预测结果与真实标签的相似程度。这个损失函数的目标是最小化二元交叉熵损失和最大化 Dice 相似度，以达到更好的模型训练效果。Dice Coefficient 也是一种常用的图像分割评价指标，衡量模型输出和真实标签之间的相似度。IoU 是一种常用的图像分割评价指标，它衡量了模型输出与真实标签之间的重程度。表示真正例（模型正确预测为正样本的数量），表示假正例（模型错误预测为正样本的数量），表示二元交叉熵损失，
【ShuQiHere】从 RNN 到 LSTM：时间依赖建模的关键演化
ShuQIHere的博客
09-01 853
通过股票价格预测这一例子，我们探索了 LSTM 是如何从 RNN 演化而来的。LSTM 通过引入门机制和细胞状态，成功解决了 RNN 在处理长时间依赖时的梯度消失问题。尽管 LSTM 的结构复杂，但其在时间序列预测中的出色表现证明了其设计的优越性。未来，随着更高效模型的发展，时间序列预测的准确性和效率将进一步提高。
吴恩达深度学习第二周：神经网络基础-Python编程入门
在吴恩达教授的最新深度学习课程中，第二周的学习重点是神经网络基础，其中包含了一个编程练习题——Python基础知识与NumPy（可选任务）。这个作业旨在帮助学生熟悉Python编程语言，特别是对于那些已经使用过Python...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值