【神经网络与深度学习】神经网络或机器学习的相关基础概念（上）

已于 2023-11-10 09:15:37 修改
阅读量73 收藏
点赞数
分类专栏： 神经网络与深度学习 文章标签： 深度学习 机器学习 神经网络
于 2023-11-08 16:22:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51467258/article/details/134255169
版权

神经网络与深度学习课程链接–复旦大学邱锡鹏教授
在这里插入图片描述

机器学习一般流程：

在这里插入图片描述

什么是表示学习？

  • 通过构建具有一定“深度”的模型，可以让模型来自动学习好的特征表示，从而最终提升预测或识别的准确性。

在这里插入图片描述

特征提取与表示学习的区别？

  • 特征提取：基于任务或先验对去除无用特征
  • 表示学习：通过深度模型学习高层语义特征

什么是深度学习？

  • 深度学习=表示学习+决策（预测）学习
    在这里插入图片描述

离散随机变量

伯努利分布

在这里插入图片描述

二项分布

在这里插入图片描述

连续随机变量

在这里插入图片描述

高斯分布

在这里插入图片描述

累积分布函数

在这里插入图片描述
在这里插入图片描述

随机向量

在这里插入图片描述

条件概率

在这里插入图片描述

期望

期望是随机变量的均值
在这里插入图片描述

机器学习

在这里插入图片描述

常见的机器学习类型

在这里插入图片描述

损失函数

损失函数是一个非负实数函数，用来量化模型预测和真实标签之间的差异。

平方损失函数 在这里插入图片描述

期望风险

在这里插入图片描述

梯度下降法


学习率的选择：中间的效果最好
在这里插入图片描述

随机梯度下降

在这里插入图片描述

小批量随机梯度下降法

在这里插入图片描述

欠拟合与过拟合

在这里插入图片描述

泛化误差

在这里插入图片描述
泛化误差大会导致过拟合

正则化

控制过拟合：正则化
在这里插入图片描述

什么是优化？

  • 使得经验风险最小

什么是正则化

  • 降低模型的复杂度。所有损害优化的方法都是正则化
    在这里插入图片描述

提前停止

在这里插入图片描述

线性回归

在这里插入图片描述

经验风险最小化

在这里插入图片描述

结构风险最小化

在这里插入图片描述

曲线拟合

在这里插入图片描述

多项式曲线拟合

在这里插入图片描述

似然函数

在这里插入图片描述

最大似然估计

在这里插入图片描述

贝叶斯公式

在这里插入图片描述

模型选择

引入验证集（Validation Set）
将训练集分为两部分：

  • 训练集 Training Set
  • 验证集 Validation Set

如何选择模型？

  • 在训练集上训练不同的模型
  • 选择在验证集上错误最小的模型

交叉验证

在这里插入图片描述

偏差-方差分解

在这里插入图片描述
上图从左到右的式子为：偏差、方差、噪声
在这里插入图片描述
既要最小偏差，也要最小方差。所以要最小偏差和方差
在这里插入图片描述

常用的定理

没有免费午餐定理

在这里插入图片描述

丑小鸭定理

在这里插入图片描述

奥卡姆剃刀原理

在这里插入图片描述

归纳偏置

在这里插入图片描述

PAC 可能近似正确

在这里插入图片描述

样本复杂度

在这里插入图片描述

豆豆LemonET
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 5万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
武汉大学神经网络与深度学习课程.zip
05-10
武汉大学神经网络与深度学习课程 武汉大学神经网络与深度学习课程 武汉大学神经网络与深度学习课程 武汉大学神经网络与深度学习课程 武汉大学神经网络与深度学习课程 武汉大学神经网络与深度学习课程...
【机器学习】——神经网络与深度学习
weixin_51658186的博客
06-15 5129
设有P个样本，我们不知道它们实际上应该分成多少类，为保险起见，可假设M=P（P个样本分成P类），这样，当N
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
热门推荐
盼小辉丶的博客
06-13 4万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
深入探究深度学习、神经网络与卷积神经网络以及它们在多个领域中的应用
dvlinker的技术专栏
10-25 2万+
深入探究深度学习、神经网络与卷积神经网络以及它们在多个领域中的应用
Keras深度学习实战（1）——神经网络基础与模型训练过程详解
盼小辉丶的博客
04-10 3万+
神经网络是一种性能强大的学习算法，其灵感来自大脑的运作方式。类似于神经元在大脑中彼此连接的方式，神经网络获取输入后，通过某些函数在网络中进行传递输入信息，连接在其后的一些神经元会被激活，从而产生输出。本文主要介绍神经网络中重要的基础知识，然后使用 Python 从零开始构建神经网络的训练流程，包括前向传播和反向传播，更直观的了解神经网络的通用训练流程。............
神经网络与深度学习python源码机器学习猫狗识别源码带数据集
04-20
神经网络与深度学习神经网络与深度学习python源码机器学习猫狗识别源码带数据集提取方式是百度网盘分享地址
复旦大学AI人工智能课程 神经网络与深度学习 共440页.pdf
03-18
复旦大学AI人工智能课程 神经网络与深度学习 共440页.pdf
复旦大学AI人工智能课程 机器学习课程 神经网络与深度学习 共208页.pptx
03-18
机器学习概述 线性模型  【基础网络模型】 前馈神经网络 卷积神经网络 循环神经网络 网络优化与 正则 化 记忆与注意力机制 无监督学习  【进阶模型】 概率图模型 玻尔兹曼机 深度信念网络 深度生成模型 深度...
深度神经网络系列视频-机器学习基础.rar
03-26
1.1课程介绍机器学习介绍上.mp4 网盘文件永久链接 1.1课程介绍机器学习介绍下.mp4 1.2深度学习介绍.mp4 2基本概念.mp4 3.1决策树算法.mp4 3.2决策树应用.mp4 4.1最邻近规则分类KNN算法.mp4 4.2最邻近规则KNN分类应用...
打开深度学习的锁：（3）进阶知识补充
最新发布
Jiashun Hao的博客
05-20 582
2：对于小权重的特征来说，损失也会增大，但也没有那么大，所以下一次更新的时候权重会减少但是没有很多。例如，如果你需要一个简化的模型来解释模型是如何做出决策的（特征选择），L1可能是更好的选择。如果你需要确保模型的所有参数都小一些，从而增强模型的泛化能力，那么L2可能是更合适的选择。除了正则化以外，一些对于设置的优化方式，也可以帮助建立更好的模型，主要有以下几点。，对于大权重的特征来说，损失会增大，所以下一次更新的时候权重会被减少很多。此外， Dropout正则化的设置比较灵活，对于重要的层，比如最后的。
RNN股票预测
weixin_57128596的博客
05-16 434
【代码】RNN股票预测。
深度学习之基于Pytorch的昆虫分类识别系统
qq1744828575的博客
05-17 458
一、项目背景昆虫分类识别是生态学、农业和生物多样性保护等领域的重要任务。然而，传统的昆虫分类方法依赖于专家的经验和知识，效率低下且容易出错。随着深度学习技术的快速发展，基于卷积神经网络（CNN）的图像分类方法被广泛应用于昆虫分类识别中。本项目旨在利用PyTorch深度学习框架，构建一个高效、准确的昆虫分类识别系统，实现对昆虫图像的自动分类和识别。二、技术组成PyTorch框架：PyTorch是一个开源的深度学习框架，具有简洁易用的API和强大的计算能力。
常用深度学习工作站、服务器推荐
HPC_factory的博客
05-16 409
1块500GB M.2 SSD系统盘+1块8TB SATA 企业级硬盘作为数据盘。1块1TB M.2 SSD系统盘+1块18TB SATA 企业级硬盘作为数据盘。1块1TB U.2 SSD系统盘+3块18TB SATA 企业级硬盘作为数据盘。2张NVIDIA Geforce RTX 4090三风扇版。4张NVIDIA Geforce RTX 4090三风扇版。NVIDIA Geforce RTX 4090涡轮版。常用配置以单卡、双卡、四卡工作站，八卡服务器为主。目前常用的显卡4090、A6000.
深度学习之基于YoloV5车型识别系统
2301_79810943的博客
05-20 336
一、项目背景与意义在智能交通、安全监控等领域，车型识别技术具有重要的应用价值。传统的车型识别方法往往依赖于人工特征提取和分类器设计，这种方法不仅效率低下，而且泛化能力有限。随着深度学习技术的快速发展，特别是目标检测算法Yolo（You Only Look Once）系列的不断优化和迭代，为车型识别提供了新的解决方案。YoloV5作为Yolo系列的最新版本，在准确性和速度方面均有了显著的提升。因此，本项目旨在基于YoloV5构建一套高效、准确的车型识别系统，以满足实际应用中的需求。二、技术实现。
【移花接木】OpenCV4.8 For Java 深度学习 实时人脸检测
关注微信公众号【OpenCV学堂】
05-17 527
解锁Java语言支持深度学习模型部署与推理技能
基于Matlab卷积神经网络苹果质量分级检测系统
2301_79809972的博客
05-20 564
一、项目背景与意义随着现代农业和智能技术的快速发展，水果质量分级检测在水果产业链中扮演着越来越重要的角色。其中，苹果作为广受欢迎的水果之一，其质量分级检测尤为重要。传统的苹果质量分级检测方法往往依赖于人工操作，不仅效率低下，而且难以保证分级结果的一致性和准确性。因此，本项目旨在利用Matlab编程环境和卷积神经网络（CNN）技术，开发一个高效、准确的苹果质量分级检测系统，以提高苹果质量检测的效率和准确性，为水果产业链的发展提供有力支持。二、技术实现。
深度学习之基于YoloV5的路面裂缝检测识别分析系统
qq1744828575的博客
05-20 633
一、项目背景与目标随着城市化进程的加快，道路建设和维护成为城市基础设施的重要组成部分。然而，道路在长期使用过程中，由于车辆荷载、环境因素等原因，往往会出现裂缝等病害，影响道路的安全性和使用寿命。传统的路面裂缝检测方法主要依靠人工巡检，不仅效率低下，而且容易遗漏或误判。因此，本项目旨在利用深度学习技术，特别是YOLOv5目标检测算法，开发一个高效、准确的路面裂缝检测识别分析系统，以提高道路巡检的效率和准确性。二、系统组成本系统主要包括图像采集、图像预处理、裂缝检测和识别分析四个部分。
深度学习之基于MTCNN+Facenet的人脸识别身份认证系统
2301_79809972的博客
05-20 326
一、项目背景与意义随着信息技术的快速发展，身份认证技术在日常生活和工作中的重要性日益凸显。传统的身份认证方式如密码、身份证件等存在易遗忘、易伪造等问题，而人脸识别技术以其独特的生物特征识别优势，逐渐成为身份认证领域的研究热点。本项目旨在利用深度学习技术，结合MTCNN和FaceNet两种先进的模型，构建一套高效、准确的人脸识别身份认证系统，以满足现代社会对身份认证技术的需求。二、技术实现。
神经网络与深度学习 pdf 邱锡鹏
09-23
神经网络与深度学习是一种机器学习的方法，它模仿人脑的神经...这本书包括了深度学习的基础知识、神经网络的基本概念、反向传播算法、卷积神经网络、循环神经网络以及深度学习在计算机视觉、自然语言处理等领域的应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值