【神经网络与深度学习】神经网络或机器学习的相关基础概念（上）

已于 2023-11-10 09:15:37 修改
阅读量104 收藏
点赞数
分类专栏： 神经网络与深度学习 文章标签： 深度学习 机器学习 神经网络
于 2023-11-08 16:22:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51467258/article/details/134255169
版权
本文介绍了神经网络与深度学习中的关键概念，包括表示学习、特征提取与深度学习的区别，以及梯度下降法、损失函数、正则化、模型选择等核心原理。讨论了如何通过训练集和验证集进行模型评估，以及偏差-方差分解在理解模型性能中的作用。
摘要由CSDN通过智能技术生成

神经网络与深度学习课程链接–复旦大学邱锡鹏教授
在这里插入图片描述

机器学习一般流程：

在这里插入图片描述

什么是表示学习？

  • 通过构建具有一定“深度”的模型，可以让模型来自动学习好的特征表示，从而最终提升预测或识别的准确性。

在这里插入图片描述

特征提取与表示学习的区别？

  • 特征提取：基于任务或先验对去除无用特征
  • 表示学习：通过深度模型学习高层语义特征

什么是深度学习？

  • 深度学习=表示学习+决策（预测）学习
    在这里插入图片描述

离散随机变量

伯努利分布

在这里插入图片描述

二项分布

在这里插入图片描述

连续随机变量

在这里插入图片描述

高斯分布

在这里插入图片描述

累积分布函数

在这里插入图片描述
在这里插入图片描述

随机向量

在这里插入图片描述

条件概率

在这里插入图片描述

期望

期望是随机变量的均值
在这里插入图片描述

机器学习

在这里插入图片描述

常见的机器学习类型

在这里插入图片描述

损失函数

损失函数是一个非负实数函数，用来量化模型预测和真实标签之间的差异。

平方损失函数 在这里插入图片描述

期望风险

在这里插入图片描述

梯度下降法


学习率的选择：中间的效果最好
在这里插入图片描述

随机梯度下降

在这里插入图片描述

小批量随机梯度下降法

在这里插入图片描述

欠拟合与过拟合

在这里插入图片描述

泛化误差

在这里插入图片描述
泛化误差大会导致过拟合

正则化

控制过拟合：正则化
在这里插入图片描述

什么是优化？

  • 使得经验风险最小

什么是正则化

  • 降低模型的复杂度。所有损害优化的方法都是正则化
    在这里插入图片描述

提前停止

在这里插入图片描述

线性回归

在这里插入图片描述

经验风险最小化

在这里插入图片描述

结构风险最小化

在这里插入图片描述

曲线拟合

在这里插入图片描述

多项式曲线拟合

在这里插入图片描述

似然函数

在这里插入图片描述

最大似然估计

在这里插入图片描述

贝叶斯公式

在这里插入图片描述

模型选择

引入验证集（Validation Set）
将训练集分为两部分：

  • 训练集 Training Set
  • 验证集 Validation Set

如何选择模型？

  • 在训练集上训练不同的模型
  • 选择在验证集上错误最小的模型

交叉验证

在这里插入图片描述

偏差-方差分解

在这里插入图片描述
上图从左到右的式子为：偏差、方差、噪声
在这里插入图片描述
既要最小偏差，也要最小方差。所以要最小偏差和方差
在这里插入图片描述

常用的定理

没有免费午餐定理

在这里插入图片描述

丑小鸭定理

在这里插入图片描述

奥卡姆剃刀原理

在这里插入图片描述

归纳偏置

在这里插入图片描述

PAC 可能近似正确

在这里插入图片描述

样本复杂度

在这里插入图片描述

豆豆LemonET
关注
专栏目录
神经网络与深度学习3小时PPT-邱锡鹏
11-25
本资源摘要信息涵盖了神经网络与深度学习的基础概念、机器学习、神经网络类型、优化方法、泛化错误、PAC学习理论等方面的知识点。 机器学习概述 机器学习是人工智能的一个分支，旨在让机器具有人类的智能，包括...
day3~过拟合和神经元
yyyy_1987的博客
04-08 205
小小白机器学习day1，预测学习day3
深度学习基础——正则化和优化
weiwei935707936的博客
08-02 1217
一.正则化与正规化 正则化是正规化更加学术的表达（顾名思义，给模型加入某些规则，来达到某些目的。在机器学习和深度学习中是为了防止过拟合） 二.过拟合的解决思路 获取更多样本 丢弃一部分特征，增强模型的容错能力（如PCA降维，Dropout机制） 保留所有特征，但减少参数的大小。确保所有特征对于预测都有一定贡献，而不是”偏爱“几种特征。 三 .L2正则化 公式： (即：原本的损失...
机器学习概述
我的我的博客
04-25 5428
一、 关于概率的基本概念 离散型随机变量：伯努利分布p(x) = ux(1-u)(1-x)、二项分布P(X=k) = Cnkuk(1-u)n-k、 连续型随机变量：∫f(x) dx = 1。高斯分布(正态分布)、指数分 累计分布函数CDF: 随机变量X取值小于等于x的概率cdf(x) = P(X≤x) 联合概率分布(Joint Probability Distribution)、条件概率(Conditional Probability) 采样(Sampling)：给定一个概率分布p(x)生成满足条件的样本。
邱锡鹏 神经网络与深度学习课程【十一】——网络优化与正则化3和注意力机制和外部记忆1
桐原因的博客
09-27 513
正则化 思考泛化性：重新思考模型复杂度和泛化之间的关系 所有损害优化的方法都是正则化 正则化方法： δ1和δ2的正则化 提前停止： 权重衰减： 丢弃法：Dropout Dropout意义： 循环神经网络上的丢弃法：要丢都丢 数据增强： 标签平滑： 总结： 注意力机制和外部记忆1 网络能力 注意力机制： 例子：阅读理解 传统RNN会出问题 ：1.长程依赖问题2.模型容量问题 通用近似定理 ...
一文概览深度学习中的五大正则化方法和七大优化策略
机器之心
12-21 1143
深度学习中的正则化与优化策略一直是非常重要的部分，它们很大程度上决定了模型的泛化与收敛等性能。本文主要以深度卷积网络为例，探讨了深度学习中的五项正则化与七项优化策略，并重点解释了当前最为流行的 Adam 优化算法。本文主体介绍和简要分析基于南洋理工的概述论文，而 Adam 方法的具体介绍基于 14 年的 Adam 论文。 近来在深度学习中，
神经网络与深度学习_神经网络与深度学习_深度学习_
10-02
《神经网络与深度学习》是当今人工智能领域中最热门的话题之一，尤其对于初学者而言，它是一扇通往机器学习和人工智能世界的窗。这份资料涵盖了丰富的神经网络理论基础和深度学习实践应用，旨在帮助读者掌握这一领域...
神经网络与深度学习python源码机器学习猫狗识别源码带数据集
04-20
2. **深度学习定义**：深度学习是机器学习的一个分支，它主要基于多层神经网络模型进行特征学习和模式识别。深度学习能够自动地从原始数据中学习到层次化的表示形式，从而在许多领域取得了显著的成绩。 #### 二、...
复旦大学AI人工智能课程 机器学习课程 神经网络与深度学习 共208页.pptx
03-18
机器学习概述 线性模型  【基础网络模型】 前馈神经网络 卷积神经网络 循环神经网络 网络优化与 正则 化 记忆与注意力机制 无监督学习  【进阶模型】 概率图模型 玻尔兹曼机 深度信念网络 深度生成模型 深度...
武汉大学神经网络与深度学习课程.zip
05-10
武汉大学神经网络与深度学习课程 武汉大学神经网络与深度学习课程 武汉大学神经网络与深度学习课程 武汉大学神经网络与深度学习课程 武汉大学神经网络与深度学习课程 武汉大学神经网络与深度学习课程...
最优化方法：L1和L2正则化regularization
摩登都市天空---专栏
08-21 9746
1. 正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作 ℓ1-norm和ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L...
深度学习（总结）
weixin_42133768的博客
11-07 1082
适合入门级深度学习的知识点（北交大）
基于YOLO11/v10/v8/v5深度学习的维修工具检测识别系统设计与实现【python源码+Pyqt5界面+数据集+训练代码】
阿旭的博客
11-01 978
基于YOLO11/v10/v8/v5深度学习的维修工具检测识别系统设计与实现【python源码+Pyqt5界面+数据集+训练代码】
深入剖析卷积神经网络中的卷积核
码途探索
11-01 929
在深度学习的浪潮中，卷积神经网络（CNNs）以其在图像识别、语音处理等领域的卓越表现而备受瞩目。而卷积核，作为CNNs中的核心组件，扮演着至关重要的角色。本文将深入探讨卷积核的工作原理、类型、应用场景以及在深度学习中的挑战和优化策略，并辅以代码示例。卷积核作为CNNs的核心，其在特征提取和模式识别方面的优势不言而喻。随着深度学习技术的不断进步，卷积核的设计和优化也在不断发展，以适应不同类型的数据处理需求。
深度学习：Masked Self-Attention 详解
最新发布
m0_73640344的博客
11-06 563
Masked Self-Attention 是 Transformer 架构中解码器的关键组件，特别用于处理自回归任务，如文本生成。该机制确保模型在生成一个序列的每个元素时只能利用之前元素的信息，防止未来信息的泄露。
如何解决RNN在处理深层序列数据时遇到的如梯度消失、长期以来等问题
m0_73640344的博客
11-06 301
这些技术各自以不同的方式解决了RNN在处理深层序列数据时遇到的关键问题，如梯度消失和长期依赖。选择哪种技术取决于特定任务的需求，包括模型的复杂性、训练时间和性能要求。通过适当选择和配置这些改进的RNN架构，可以显著提高序列数据处理任务的效果和效率。
Keras 3 示例：开启深度学习之旅
zheng_ruiguo的专栏
11-02 665
Keras 3是一个强大的深度学习框架，它为开发者提供了简洁、高效的方式来构建和训练神经网络。它在之前版本的基础上进行了改进和优化，具有更好的性能、兼容性和功能扩展性。无论是初学者还是经验丰富的研究人员，都可以利用 Keras 3快速实现自己的深度学习想法。
【车辆车型识别】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+算法模型
子午的博客
11-01 863
车辆车型识别，使用Python作为主要编程语言，通过收集多种车辆车型图像数据集，然后基于TensorFlow搭建卷积网络算法模型，并对数据集进行训练，最后得到一个识别精度较高的模型文件。再基于Django搭建web网页端操作界面，实现用户上传一张车辆图片识别其类型。局部感知能力：通过卷积层，CNN能够捕捉图像的局部特征，如边缘和纹理信息，这使得它在处理图像时具有空间感知能力。参数共享：卷积层中的权重在整个输入图像上共享，减少了模型的参数数量，降低了过拟合的风险，并提高了训练效率。平移不变性。
深度学习基础知识-残差网络ResNet
lqq
11-01 1295
是由何恺明等人于 2015 年提出的一种深层卷积神经网络结构。它在 ILSVRC 2015 比赛中取得了图像分类、检测等多个任务的突破性成果。ResNet 的主要创新在于引入了“残差连接”（Residual Connections），有效地解决了深层神经网络的梯度消失和梯度爆炸问题，使得网络可以堆叠更多层，显著提升模型的表达能力和分类效果。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值