Datawhale X 李宏毅苹果书 AI夏令营 task2笔记

最新推荐文章于 2024-09-01 21:08:00 发布
最新推荐文章于 2024-09-01 21:08:00 发布
阅读量145 收藏
点赞数 3
文章标签： 人工智能 笔记 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Z_puapua/article/details/141760895
版权

常见激活函数

  • Sigmoid

用 Sigmoid 函数来逼近 Hard Sigmoid，从而用一系列Hard Sigmoid函数去表示复杂的关系

  • ReLU

y=c*max(0,wx+b)

分组后使用梯度下降

  • 批量（batch）
  • update:更新一次参数
  • 回合（epoch）:将所有的batch都使用过一次算作一个回合

eg:1000个数据，batch size设为 100，1个回合总共更新10次参数

增加深度

将激活函数本身作为自变量从而增加深度

过拟合

在训练数据中表现优异但在测试数据中出现了失真

Z_puapua
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Datawhale X 李宏毅苹果书 AI夏令营：TASK2+CNN实践, pytorch，数据增强，可视化
08-26
Datawhale X 李宏毅苹果书 AI夏令营：TASK2+CNN实践, pytorch，数据增强，可视化
Datawhale X 李宏毅苹果书 AI夏令营：《深度学习详解》
08-24
Datawhale X 李宏毅苹果书 AI夏令营：《深度学习详解》
Datawhale X 李宏毅苹果书 AI夏令营task1笔记
scipig_的博客
08-22 914
本章主要介绍深度学习常见的一些概念，方便我们从不同的角度来更好地优化神经网络。
Datawhale X 李宏毅苹果书 AI夏令营task2笔记
scipig_的博客
08-28 801
所以我们从最原始的梯度下降，进化到这一个版本(11)其中是动量。这个是目前优化的完整的版本，这种优化器除了 Adam 以外，还有各种变形。但其实各种变形是使用不同的方式来计算或，或者是使用不同的学习率调度的方式。
Datawhale X 李宏毅苹果书 AI夏令营Task2笔记
weixin_53539714的博客
08-31 435
在下图中的误差表面中，如果考虑横轴方向，绿色箭头处坡度比较陡峭，需要较小的学习率，但是走到红色箭头处，坡度变得平坦了起来，需要较大的学习率。凸的误差表面的等高线是椭圆形的，椭圆的长轴非常长，短轴相比之下比较短，其在横轴的方向梯度非常小，坡度的变化非常小，非常平坦;回归问题输出的是连续的数值，分类问题输出的是有限的、离散的类别标签。很多时候训练陷入瓶颈，损失不再下降，不是因为陷入了局部最小值，大部分情况下是在局部最小值附近震荡（学习率太大），这个时候应该通过降低学习率的方式，从而能够继续往最小值方向下降。
Datawhale X 李宏毅苹果书 AI夏令营 Task2 笔记
kid133332的博客
08-24 744
模型概述把输入的特征 x 乘上一个权重，再加上一个偏置就得到预测的结果，这样的模型称为线性模型（linear model）。线性模型是机器学习中一种非常基础且重要的模型，广泛应用于分类和回归任务。线性模型的基本思想是通过一个线性方程来描述输入特征与输出结果之间的关系。
Datawhale X 李宏毅苹果书 AI夏令营 Task-2
endact_00的博客
08-26 594
上图说明不同的 Loss 函数会影响训练的难易度;左图会一开始就stuck因为梯度很平坦, 右图有很明显的梯度,训练起来更稳定快速.A: 1, 2, 3 数字潜在也表达了他们之间的关系, 1和2 比较接近, 1和3 相差大, 这不能表达类别之间独立的关系;在梯度很小变化的方向上, 平方根越来越小, 导致更新突然爆炸, 跑到梯度变化大的地方, 然后又慢慢恢复到正轨上;Q: 当把模型输出的标量scaler(1, 2, 3) 当作类别处理可以吗?考虑到随着训练时间变长, 梯度总会慢慢变小, 因此可以。
Datawhale 5 李宏毅苹果书 AI夏令营.pdf
08-26
Datawhale 5 李宏毅苹果书 AI夏令营.pdf
Datawhale X 李宏毅苹果书 全书
08-26
Datawhale X 李宏毅苹果书 全书
Datawhale X 李宏毅苹果书AI夏令营 学习笔记
m0_61049596的博客
08-31 714
今天，我继续学习了深度学习中的优化算法，并且着重理解了如何利用。等高级优化器来提高模型训练的效率和效果。2024年8月30日。
自然语言处理系列五十》文本分类算法》SVM支持向量机算法原理
最新发布
weixin_52610848的博客
09-01 851
【配套新书教材】《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】新书特色：本书从自然语言处理基础开始，逐步深入各种NLP热点前沿技术，使用了Java和Python两门语言精心编排了大量代码实例，契合公司实际工作场景技能，侧重实战。
关于人工智能（AI）的研究报告
weixin_44196785的博客
08-29 4725
未来，随着技术的不断创新和应用的不断拓展，人工智能将继续发挥重要作用，推动社会的进步和发展。然而，人工智能的发展也带来了一些挑战，需要我们在技术创新、应用拓展和社会治理等方面共同努力，以确保人工智能的发展符合人类的利益和价值观。就业结构的变化：人工智能的发展将导致就业结构的变化，一些传统的工作岗位将被自动化和智能化的设备所取代，同时也会创造出一些新的工作岗位。社会治理的挑战：人工智能的发展将对社会治理带来挑战，例如如何应对人工智能带来的安全风险、如何保障人工智能的公平性和可及性等。
【大模型理论篇】RoPE旋转位置编码底层数学原理分析
源泉的小广场
08-30 2680
大模型、位置编码、Transformer、旋转位置编码、RoPE、Rotary Positional Encoding、数学原理、数学推导、旋转矩阵、相对位置、绝对位置、词元相似性、位置相关性
2024/9/1周报
user_s1的博客
08-27 598
IntelliJ IDEA Ultimate 2024最新版遇到scanner不能输入中文的情况，查阅资料和多方求助后无果，最终选择卸载重新安装2023年的旧版本解决。
设备上的实时自定义手势识别
bit_mike的博客
08-31 797
这篇论文的标题是《On-device Real-time Custom Hand Gesture Recognition》，主要研究了如何在移动设备上实时识别自定义手势。论文的重点在于提出了一种新的框架，使得用户可以自定义手势识别流程，并且通过预训练模型和少量的训练数据来实现高准确率的手势识别，这对于AR、VR等领域具有重要的应用价值。
您应该使用哪个矢量数据库？ 选择最适合您需求的数据库
weixin_41446370的博客
09-01 837
在现实世界中，并非所有数据都能整齐地排列成行和列。在处理复杂的非结构化数据（如图像、视频和自然语言）时尤其如此。矢量数据库是一种以高维矢量形式存储数据的数据库，本质上是代表对象特征或特性的数字列表。每个矢量对应一个独特的实体，如一段文本、图像或视频。但为什么要使用矢量呢？奥妙就在于它能够捕捉语义和相似性。通过将数据表示为向量，我们可以对它们进行数学比较，并确定它们的相似或不相似程度。这使我们能够执行复杂的查询，如 "为我查找与此相似的图片 "或 “检索与此文本语义相关的文档”。
【自由能系列（初级）】自由能原理在多个领域的统一视角【表格】【知名论文】
神经美学_茂森的博客
08-27 4686
自由能原理作为一个统一的理论框架，成功地将多个看似不相关的领域（如神经科学、物理学、经济学、信息论、控制论、认知科学和生物学进化）联系在一起。通过自由能原理，我们可以更深刻地理解不同系统如何在给定条件下实现最优行为或状态。#自由能原理 #跨领域统一框架 #优化逻辑 #参数调节 #贝叶斯大脑 #预测编码 #最优控制 #注意力机制 #自然选择 #机器学习。：自由能原理、跨领域统一框架、优化逻辑、参数调节、贝叶斯大脑、预测编码、最优控制、注意力机制、自然选择、机器学习。
未戴安全帽算法检测源码样本安防监控视频分析未戴安全帽检测算法应用场景
LntonCEC的博客
08-29 2371
通过高效的图像处理和实时反馈机制，这些算法不仅提高了安全帽佩戴的检测准确性，还实现了对工地的全覆盖监控。未来，随着技术的不断进步和优化，这些系统将在更多的工地和工业场景中得到广泛应用，为工人的安全保驾护航。同时，系统会记录所有的检测数据，为后续的安全管理和分析提供了宝贵的参考资料。未戴安全帽检测算法是一种基于计算机视觉和深度学习技术的智能分析算法，旨在通过分析图像或视频流，自动识别人员是否佩戴了安全帽，并在检测到未佩戴情况时采取相应的措施（如发出警报或记录事件）。1. 提高检测准确性。
BERT:Pre-training of Deep Bidirectional Transformers forLanguage Understanding
靓仔沾点健忘症，写给时间下游的自己
08-26 2064
语言模型预训练已被证明对改善许多自然语言处理任务是有效的(Dai and Le, 2015;其中包括句子级任务，如自然语言推理(Bowman et al.， 2015;Williams等人，2018)和释义(Dolan和Brockett, 2005)，其目的是通过整体分析来预测句子之间的关系，以及分词级任务，如命名实体识别和问答，其中需要模型在分词级别产生细粒度输出(Tjong Kim Sang和De Meulder, 2003;将预训练的语言表示应用于下游任务有两种现有策略:基于特征和微调。
李宏毅机器学习课程笔记：从深度学习到卷积神经网络
"李宏毅的机器学习课程笔记涵盖了从基础的回归分析、梯度上升算法，到分类问题、反向传播、卷积神经网络（CNN）、半监督学习、无监督学习以及线性模型等多个核心主题。这些内容构成了深度学习和机器学习的基础理论与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值