【期中复习】深度学习

最新推荐文章于 2024-11-02 12:07:46 发布
最新推荐文章于 2024-11-02 12:07:46 发布
阅读量368 收藏
点赞数
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/verse_armour/article/details/134029115
版权

文章目录

机器（深度）学习的四大核心要素

数据、模型、性能度量（目标函数）、优化方法

为什么深度学习，不增加网络宽度

  • 增加深度使得学习高层次、抽象特征成为可能
  • 相比于增加宽度，增加深度的学习效率更高。比如对于一些要学习的多项式函数，浅层网络需要指数增长的神经元个数，其拟合效果才能匹配上多项式增长的深层网络
    宽度的优点：增加宽度会增加模型的记忆能力

黑盒模型的问题

数据安全隐患、输出不可信、模型改进局限、模型应用局限

计算图

在这里插入图片描述

线性神经网络

  • 模型
    在这里插入图片描述

  • 性能度量
    在这里插入图片描述

  • 优化方法
    在这里插入图片描述

梯度下降

在这里插入图片描述

学习率

在这里插入图片描述

优化方法

在这里插入图片描述

softmax函数用于多分类

在这里插入图片描述

  • 可用：量化样本间的相对大小(等比例缩放不变)
  • 概率：每个样本取值范围[0,1],总和等于1
  • 可训练：可微分

交叉熵

在这里插入图片描述

线性回归与softmax回归的对比

在这里插入图片描述

为什么需要非线性激活函数

在这里插入图片描述
因为是线性的，神经网络虽然引入了隐藏层，却依然等价于一个单层神经网络

感知机

在这里插入图片描述
在这里插入图片描述

线性回归、softmax回归、感知机和支持向量机的比较

在这里插入图片描述

sigmoid激活函数

在这里插入图片描述

  • 优点
    （0-1），平滑、多标签分类
  • 缺点
    梯度消失、更新效率低

双曲正切（tanh）激活函数

在这里插入图片描述

  • 优点
    （-1，1），平滑，更新效率高
  • 缺点
    梯度消失

线性（ReLU）修正函数

在这里插入图片描述
在这里插入图片描述

MLP

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

K折交叉验证

在这里插入图片描述
在这里插入图片描述

估计模型的复杂度

在这里插入图片描述

数据复杂度

在这里插入图片描述

欠拟合和过拟合

在这里插入图片描述

欠拟合和过拟合的原因

在这里插入图片描述

正则化

在这里插入图片描述

Dropout

在这里插入图片描述

梯度爆炸和梯度消失

在这里插入图片描述

在这里插入图片描述

权重初始化

在这里插入图片描述

参数初始化

在这里插入图片描述

在这里插入图片描述

verse_armour
关注
深度学习题库大全-hr.docx
06-30
### 深度学习题库知识点解析 #### 题目1：梯度下降算法的正确步骤 **解析**： 梯度下降算法是深度学习中常用的一种优化算法，用于求解损失函数的最小值，其步骤如下： 1. **d. 用随机值初始化权重和偏差**：初始...
七年级下册期中考试复习学习教案.pptx
09-30
同时，它强调了基础学习的重要性，鼓励主动探索和深度学习，这对于提高学生的综合素质和应对考试至关重要。在实际教学中，教师可以依据这份教案设计多样化的学习活动，以激发学生的学习兴趣，促进他们的全面发展。
三年级语文上期中复习PPT学习教案.pptx
10-07
这篇PPT的学习教案主要针对的是小学三年级语文的期中复习，涵盖了形近字、多音字、成语以及课文理解和情感分析等内容，旨在帮助学生巩固基础知识，提升语言运用能力。 首先，形近字部分列举了一些容易混淆的汉字，...
八年级物理下册期中复习PPT学习教案.pptx
10-04
这份资料主要涉及初中物理中的压强相关知识，适用于八年级学生的期中复习。知识点主要包括以下几个方面： 1. **减小压强的实例分析**：题目中提到的例子是判断哪些情况可以减少压强。减小压强的方法通常是增大受力...
语文期中复习资料打印.zip
10-24
《语文期中复习资料打印》是一份集合了丰富语文学习资源的压缩文件，旨在帮助学生进行有效的期中复习。这份资料包含多个方面的知识点，旨在全面提升学生的语文能力，包括阅读理解、写作技巧、古诗词鉴赏、文言文理解...
Python 使用 LSTM 进行情感分析：处理文本序列数据的指南
chusheng1840的博客
10-29 1346
LSTM（Long Short-Term Memory）是一种特殊的循环神经网络（RNN），其结构设计使其能够“记住”较长的序列信息。传统 RNN 在处理长序列数据时容易出现“梯度消失”或“梯度爆炸”的问题，而 LSTM 引入了“遗忘门”、“输入门”和“输出门”结构，使其能够在较长的时间跨度内保持记忆。情感分析是一种自然语言处理（NLP）技术，用于分析文本中表达的情绪。通过情感分析，我们可以将一段文本标记为正面、负面或中性等类别。
深度学习之激活函数
weixin_43775295的博客
10-30 1080
PiexpθiTx∑k1KexpθiTxPi∑k1K​expθiT​xexpθiT​x​​ 其中，$ \theta_i $ 和 $ x $ 是列向量，$ \theta_i^T x $ 可能被换成函数关于 $ x $ 的函数 $ f_i(x) $​ 通过 softmax 函数，可以使得 $ P(i) $ 的范围在 $ [0,1] $ 之间。
引入了窥视孔连接（peephole connections）的LSTM
m0_73640344的博客
10-29 614
通过引入窥视孔连接，LSTM能够更加精确地控制信息流，因为每个门都可以根据细胞状态的即时值进行调整。这种设计不仅增强了模型的性能，尤其是在需要精细控制内部状态记忆的应用中，如复杂的序列预测和模式识别任务，也提高了决策过程的透明度和直观性。
深入探索：深度学习在时间序列预测中的强大应用与实现
平凡程序猿~的博客
10-28 3437
随着深度学习的快速发展，循环神经网络（RNN）、长短期记忆网络（LSTM）、门控循环单元（GRU）、卷积神经网络（CNN）以及Transformer模型逐步应用到时间序列分析中，并取得了较好的结果。下面将详细介绍这些模型的原理、优势、不足以及实际应用中的代码示例。
深度学习：梯度下降算法简介
m0_73640344的博客
10-29 1270
在深度学习的训练过程中，梯度下降算法（Gradient Descent，简称GD）扮演着至关重要的角色。这一算法的核心机制是利用数据集的梯度信息来迭代更新模型参数，以最小化损失函数。接下来，我们将详细讨论其各种变体和进化。1. 随机梯度下降（SGD）由于全批量的梯度下降在面对大规模数据集时会受到内存限制和迭代速度的制约，学者们提出了随机梯度下降（Stochastic Gradient Descent，SGD）。这种方法每次迭代仅使用数据集中的一个小批量样本来计算梯度和更新参数。
【征程 6 工具链性能分析与优化-1】编译器预估 perf 解读与性能分析
地平线开发者
10-30 938
这篇文章中，我们将首先介绍layerdetails中的参数信息，然后将结合实例分析如何利用layerdetails来分析模型的性能瓶颈，进而对模型的性能进行优化。
【深度学习】用LSTM写诗，生成式的方式写诗系列之一
weixin_40293999的博客
10-30 271
先训练了100轮次，后面应该还能增长，但是不等了。
从0开始深度学习（23）——图像卷积
立志成为炼丹师？
10-29 1232
上节了解了卷积层的原理，本节以图像为例，介绍一下它的实际应用。
基于前馈神经网络模型和卷积神经网络的MINIST数据集训练
qq_73704268的博客
10-29 565
梯度清零optimizer.zero_grad()-->前向传播outputs = model(images) --->计算损失loss = criterion(outputs, labels) --->反向传播误差loss.backward()---->更新权重optimizer.step()在 PyTorch 中，Sequential 是一个方便的容器，用于将多个层（layer）按顺序组合在一起，形成一个简单的神经网络模型。1、max括号内的第二个参数1是指定了要沿着哪个维度寻找最大值。
PDF 【人工智能白皮书 】【大模型安全实践白皮书】【大模型白皮书】【大模型/深度学习/人工智能原理/心智学习】
weixin_44151034的博客
10-30 704
因为笔者想更多的了解一下关于大模型/人工智能的前沿知识，所以下载了很多相关的2023-2024的大模型白皮书，笔者等一下会把这些白皮书PDF和白皮书链接都贴上来，方便大家也进行观看。
计算机毕业设计Python+大模型恶意木马流量检测与分类 恶意流量监测 随机森林模型 深度学习 机器学习 数据可视化 大数据毕业设计 信息安全 网络安全
全网粉丝100W+、全栈领域优质创作者、B站、github、CSDN等社区技术专家、专注于高端精品毕业项目源码实战
10-30 994
计算机毕业设计Python+大模型恶意木马流量检测与分类 恶意流量监测 随机森林模型 深度学习 机器学习 数据可视化 大数据毕业设计 信息安全 网络安全
基于长短期记忆网络（LSTM）的时间序列数据预测，15个输入1个输出，可以更改数据集，MATLAB代码
最新发布
IT猿手
11-02 648
使用MATLAB的深度学习工具箱，构建LSTM神经网络模型。需要指定模型的层数、每层神经元的数量、激活函数等超参数。
深度学习-梯度消失/爆炸产生的原因、解决方法
lqq
10-30 1229
在深度学习模型中，梯度消失和梯度爆炸现象是限制深层神经网络有效训练的主要问题之一，这两个现象从本质上来说是由链式求导过程中梯度的缩小或增大引起的。特别是在深层网络中，若初始梯度在反向传播过程中逐层被放大或缩小，最后导致前几层的权重更新停滞（梯度消失）或异常增大（梯度爆炸），影响模型的有效训练和收敛。接下来，我们从网络深度、激活函数的选择等方面深入分析其成因，并探讨解决这些问题的主流方法。
mid机器学习2004年期中考试
07-08
6. 深度学习基础知识：要求学生了解神经网络的基本结构和训练方法。 为了备考此次考试，学生可以通过以下几个途径： 1. 复习课堂笔记和教材：对机器学习的基本概念和常用算法进行系统复习。 2. 完成练习题和作业：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

verse_armour

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值