Datawhale X 李宏毅苹果书 AI夏令营_深度学习基础学习心得Task2.2

于 2024-08-29 21:16:40 发布
阅读量50 收藏
点赞数 1
文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53088678/article/details/141687496
版权

本次学习分类问题

1、分类与回归：

回归一般输出一个值y_hat 期望与y越接近越好。分类一般有几类就输出几个值，是一个one-hot的向量，在类别对应的位置值为1

本文介绍了一种重复输出数值后加权的方法，但是我做分类一般用全连接层直接输出多个值，然后使用argmax函数

2、softmax：

公式：

其实主要是一个归一化的作用，并且输出所有值的和为1，这样就类似于每一个类别的概率；并且它还会让大的值和小的值差距更大

但是在二分类问题中，sigmoid和softmax是等价的，一般取sigmoid

3、损失函数：

第一种是均方误差MSE但是这个我一般在回归任务用

第二种是交叉熵CE这个我觉得是最经典的

为什么选CE：

在刚开始训练的时候，CE是有梯度可以下降的，而MSE没有，容易卡住

###################################

心得：我的课题主要是围绕着分类，回归的，所以这一节内容比较熟，就当巩固一遍了

weixin_53088678
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Datawhale X 李宏毅苹果书 AI夏令营_深度学习基础学习心得Task2
weixin_53088678的博客
08-28 223
本次学习了不同优化器调整学习率的策略，在我做课题的时候一般都是用Adam，问了别人也都说时Adam最好用，通过本次学习深入了解了它为什么好。可以看到每一阶段的σ都来自于继承于前一阶段，所以这种算法也是包含了过往所有的梯度信息，与Adagrad不同的是α是一个可以调整的超参数，可以根据需要来调整当前梯度的重要程度，如果设置α比较小，则代表比较侧重于当前梯度，在梯度下降大的时候可以很快的刹车。但是常规的 学习率下降方法是不够用的，我们希望在梯度大的时候走慢点，在梯度小的时候走快点，所以需要引入自适应学习率。
Datawhale X 李宏毅苹果书 AI夏令营task1笔记
scipig_的博客
08-22 855
本章主要介绍深度学习常见的一些概念，方便我们从不同的角度来更好地优化神经网络。
Datawhale X 李宏毅苹果书 AI夏令营 Task_1深度学习详解入门
2302_77116414的博客
08-27 577
在分类任务中，机器需要找到一个函数，能够根据输入的特征（如邮件的内容、发件人、收件人等），从设定好的选项（如垃圾邮件和正常邮件）中选择一个作为输出。已知和的值能使损失小到 480，在已知数据（2017 到 2020 年每天的观看次数）上计算损失为 480，用该函数预测未来（2021 年）的观看次数，在未看过的数据上误差值为 0.58，说明在训练数据上误差较小。：写出带有未知参数的函数，如，其中是预测的今天频道的总观看次数，是前一天的总观看次数，和是未知参数，带有未知参数的函数称为模型，称为权重，称为偏置。
“Datawhale X 李宏毅苹果书 AI夏令营”深度学习入门笔记Task1
m0_74851616的博客
08-25 616
例如，可将函数写为y = b + wx，y是经过预测得到的数值，x为该视频，b,w即为要求的参数，是未知的，可以通过过去的视频播放量来确定。我们将带有未知参数的函数称为模型2.定义损失函数对于给定的数据集，损失函数计算模型在整个数据集上的平均损失（或成本）。这个平均损失代表了模型性能的“好坏”，损失越小，通常意味着模型的性能越好。苹果书中写到采用均方误差（Mean SquaredError，MSE）e = (ˆy y − y)2；
Datawhale X 李宏毅苹果书 AI夏令营_深度学习进阶_Datawhile_task2_自适应学习率、学习率调度、分类与CNN实践
lndmk的博客
08-28 836
这段代码定义了一个图像分类器类（Classifier），继承自PyTorch的nn.Module。该分类器通过一系列卷积层、批归一化层、激活函数和池化层构建卷积神经网络（CNN），用于提取图像特征。随后，这些特征被输入到全连接层进行分类，最终输出11个类别的概率，用于图像分类任务。"""定义一个图像分类器类，继承自PyTorch的nn.Module。该分类器包含卷积层和全连接层，用于对图像进行分类。""""""初始化函数，构建卷积神经网络的结构。包含一系列的卷积层、批归一化层、激活函数和池化层。
Datawhale X 李宏毅苹果书 AI夏令营-深度学习基础-Task1
少年小子的博客
08-27 112
在神经网络训练过程中，当参数对损失微分为零的时候，梯度下降就不能再更新参数了，训练就停下来了，损失不再下降了。梯度为0时不仅仅有局部极小值，还有鞍点（梯度是零且区别于局部极小值和。），这些都被成为临界点。临界点：梯度为零的点。
Datawhale X 李宏毅苹果书 AI夏令营-深度学习入门班-task1
m0_73202283的博客
08-22 313
机器学习就是去拟合一种函数，它可能在高维上，十分抽象，但是却可以有丰富的语义含义，从而完成一系列任务回归任务是预测一个准确的值，例如拟合一条直线的时候，我们希望每一个点的值都能对应上分类任务则是输出一个带有概率含义的Logits，经过一些操作(如softmax)得到每个类别对应的概率除此之外模型还可以有结构化的输出，例如一张图、一篇文章。
Datawhale X 李宏毅苹果书 AI夏令营-深度学习入门班-task2
m0_73202283的博客
08-25 166
过拟合是指在训练数据上效果好，测试数据上效果差，对训练数据太拟合太贴切；欠拟合则相反，往往是模型太简单或者训练轮次不够。说到激活函数，最主要的作用是引入非线性，特别是在深度学习中，如果没有激活函数，多层神经网络始终可以用两层来代替。额，不知道为什么要在这里这样引入sigmoid函数，有点怪怪的，但确实用无限多的分段函数就能拟合很多曲线。一开始假设的模型是y=b+w1，但在可视化预测值和真实值后，发现数据具有规律性，因此换成7天。所以这里的意思是引入多变量去更好的拟合问题所需的模型？
Datawhale X 李宏毅苹果书AI夏令营深度学习详解进阶Task2.2
2302_77116414的博客
08-28 247
接下来将详细讨论深度学习中的分类问题，包括学习率调度、不同的优化器以及它们在模型构建和优化算法中的应用。例如，在一个简单的分类模型中，我们可以将输入的特征向量 x 乘以权重 W，加上偏置 b，通过激活函数得到ŷ，然后再将ŷ通过 softmax 函数得到 y'，最后计算 y' 跟目标 y 之间的距离，以优化模型的参数。对于分类问题，我们通常会使用神经网络模型，并在模型中加入一些特殊的层，如 softmax 层，来实现分类的功能。在 Adam 中，学习率的调整是根据梯度的统计信息进行的，以实现更好的收敛效果。
Datawhale X 李宏毅苹果书 AI夏令营：《深度学习详解》
08-24
Datawhale X 李宏毅苹果书 AI夏令营：《深度学习详解》
Datawhale X 李宏毅苹果书 AI夏令营：TASK2+CNN实践, pytorch，数据增强，可视化
08-26
Datawhale X 李宏毅苹果书 AI夏令营：TASK2+CNN实践, pytorch，数据增强，可视化
Datawhale 5 李宏毅苹果书 AI夏令营.pdf
08-26
Datawhale 5 李宏毅苹果书 AI夏令营.pdf
【小迪安全笔记V2022】信息打6~8
2202_75354817的博客
08-25 3149
小迪安全学习笔记
python 实现convolution neural network卷积神经网络算法
luthane的博客
08-26 7129
卷积神经网络（Convolutional Neural Networks, CNN）是一种包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一。基本原理CNN的核心思想是通过模拟人类视觉系统的工作方式，自动提取图像中的特征，并将其用于分类、检测、分割等任务。它主要受到了生物学上感知机制的启发，模拟了人类视觉系统中的感知细胞和复杂细胞的工作方式。
关于人工智能（AI）的研究报告
最新发布
weixin_44196785的博客
08-29 432
未来，随着技术的不断创新和应用的不断拓展，人工智能将继续发挥重要作用，推动社会的进步和发展。然而，人工智能的发展也带来了一些挑战，需要我们在技术创新、应用拓展和社会治理等方面共同努力，以确保人工智能的发展符合人类的利益和价值观。就业结构的变化：人工智能的发展将导致就业结构的变化，一些传统的工作岗位将被自动化和智能化的设备所取代，同时也会创造出一些新的工作岗位。社会治理的挑战：人工智能的发展将对社会治理带来挑战，例如如何应对人工智能带来的安全风险、如何保障人工智能的公平性和可及性等。
透明性和解释性AI：概念与应用
weixin_49007164的博客
08-25 2582
透明性AI指的是AI系统的操作过程、决策机制、数据流动和模型行为是可理解和可追踪的。换句话说，透明性AI使得人们可以清楚地看到AI系统是如何做出决策的，这一过程包括输入数据的处理方式、模型的内部计算过程、以及最终决策的产生机制。解释性AI是指AI系统不仅能够给出决策结果，还能够提供关于该决策如何产生的解释。解释性AI的目标是帮助用户理解AI的行为，尤其是当AI的决策与预期不符时，提供合理的解释来消除用户的疑虑。
【python计算机视觉编程——1.基本的图像操作和处理】
m0_53694086的博客
08-26 6833
参数sigma为标准差（σ），是高斯滤波器的一个重要参数，它控制滤波器的平滑程度。标准差越大，高斯函数的曲线越宽，滤波器的影响范围就越大。标准差较大: 高斯滤波器会在更大范围内进行平滑，使得图像变得更加模糊，细节和边缘特征会被更强地平滑掉。标准差较小: 高斯滤波器会产生较小范围的平滑效果，图像的细节保留更多。还可以给定转换矩阵，将RGB图像转换为CIE XYZ色彩空间。图像像素值被分成128个区间，用于计算每个区间的像素值频率。可以返回目录中所有jpg图像的列表。
VLM 系列——phi3.5-Vision——论文解读
TigerZ*的博客
08-29 174
是一系列大型语言模型（LLM） & 多模态大型语言模型（MLLM）。其中LLM包括phi-3-mini 3.8B、phi-3-small 7B、phi-3-medium 14B，phi-3-mini可以轻松地在现代手机上本地进行推理；多模态模型包括phi-3-vision（基于phi-3-mini & CLIP ViT-L/14） 4.2B。本文重点介绍多模态的phi-3-mini模型，该模型能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、 多图问对话、视频理解对话 、json格式、高清
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值