Datawhale X 李宏毅苹果书 AI夏令营：TASK 3

最新推荐文章于 2024-10-02 00:23:27 发布

m0_58854572

最新推荐文章于 2024-10-02 00:23:27 发布

阅读量257

点赞数 3

文章标签：人工智能

本文链接：https://blog.csdn.net/m0_58854572/article/details/141586240

版权

Batch Normalization

特征归一化：对所有样本的某一特征做去量纲处理
（由于整个数据集太大，往往考虑一个batch）

Z值归一化，训练时损失下降得快一些

在激活函数前后皆可，归一化后再进行伸缩和移动

测试时用来计算normalization的均值和方差来自训练集的相应变量移动平均

为什么批量归一化可能有用：批量归一化使得在更新前一层的参数对后一层的梯度计算影响不大

协变量偏移不一定被归一化解决了？？？

7.5. 批量规范化 — 动手学深度学习 2.0.0 documentation (d2l.ai)

CNN

感受野内的模式识别

stride

padding

参数共享

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

m0_58854572

关注关注

3
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Datawhale X 李宏毅苹果书 AI夏令营：TASK2+CNN实践, pytorch，数据增强，可视化

08-26

Datawhale X 李宏毅苹果书 AI夏令营：TASK2+CNN实践, pytorch，数据增强，可视化

Datawhale X 李宏毅苹果书 AI夏令营：《深度学习详解》

08-24

Datawhale X 李宏毅苹果书 AI夏令营：《深度学习详解》

参与评论您还未登录，请先登录后发表或查看评论

Datawhale X 李宏毅苹果书 AI夏令营task1笔记

scipig_的博客

08-22

1743

本章主要介绍深度学习常见的一些概念，方便我们从不同的角度来更好地优化神经网络。

Datawhale X 李宏毅苹果书 AI夏令营: Task3

wwj619wwj的博客

09-03

708

有时一个模型error surface是凸的，但是由于两个参数对存世的斜率相差非常大，在w1方向上斜率变化小，在w2方向上斜率变化很大，也不容易训练。

Datawhale X 李宏毅苹果书 AI夏令营：Task3

2401_83353755的博客

09-03

276

在最后一次深度学习入门任务中，继续学习深度学习的实践方法论，学习什么是模型偏差，什么是优化，如何区分他们，学习完这些之后，会对深度学习有进一步的理解。

Datawhale X 李宏毅苹果书 AI夏令营（Task2）

mengluohuayexuan的博客

08-27

1199

根据GPU是否可用选择设备类型# 初始化模型，并将其放置在指定的设备上# 定义批量大小# 定义训练轮数# 如果在'patience'轮中没有改进，则提前停止# 对于分类任务，我们使用交叉熵作为性能衡量标准# 初始化优化器，您可以自行调整一些超参数，如学习率。

Datawhale X 李宏毅苹果书 AI夏令营 Task2

weixin_52691220的博客

08-28

591

如果是前两天前四天前五天，它的值会跟未来要预测的，隔天的值是成反比的，所以后面接个都是负数。PS. 所以这边每一个式子都代表了一个不同蓝色的函数，求和就是把不同的蓝色的函数相加，，所以在有看过的数据上，在训练数据上，误差值是比较小的，在没有看过的数据上，在2021。到拿来当作预测的结果，也许预测的会更准也说不定，所以我们就要修改一下模型。坡度的起始点设的跟红色函数转折点一样，蓝色函数的斜率设的跟红色函数斜率一样，接下。考虑了比较多的信息，在训练数据上应该要得到更好的、更低的损失。

Datawhale X 李宏毅苹果书 AI夏令营入门班Task2

wtby1234的博客

08-28

421

HardSigmoid 可以看作是两个修正线性单元（Rectified Linear Unit，ReLU）的加总，ReLU 的图像有一个水平的线，走到某个地方有一个转折的点，变成一个斜坡，此外，我们可以不只用一个特征 x1，可以用多个特征代入不同的 c, b, w，组合出各种不同的函数，从而得到更有灵活性（flexibility）的函数。输入的特征 x 乘上一个权重，再加上一个偏置就得到预测的结果，这样的模型称为线性模型（linear model）。2. 可以用Sigmoid 函数逼近这一个蓝色的函数。

Datawhale X 李宏毅苹果书 AI夏令营 Task-2

endact_00的博客

08-26

633

上图说明不同的 Loss 函数会影响训练的难易度;左图会一开始就stuck因为梯度很平坦, 右图有很明显的梯度,训练起来更稳定快速.A: 1, 2, 3 数字潜在也表达了他们之间的关系, 1和2 比较接近, 1和3 相差大, 这不能表达类别之间独立的关系;在梯度很小变化的方向上, 平方根越来越小, 导致更新突然爆炸, 跑到梯度变化大的地方, 然后又慢慢恢复到正轨上;Q: 当把模型输出的标量scaler(1, 2, 3) 当作类别处理可以吗?考虑到随着训练时间变长, 梯度总会慢慢变小, 因此可以。

Datawhale X 李宏毅苹果书 AI夏令营--＞task2

2402_86285986的博客

08-28

237

多层神经网络可用于回归拟合更复杂的函数，通过将前一层的输出值作为后一层的输入值，但同时过多的隐藏层也可能带来overfitting的问题，最好通过预测集与训练集的loss变换来选择合适的层数。每一段小曲线的拟合通常可用hard sigmoid函数去代替，hard sigmoid函数是分段的，整体形势为平坦——斜坡——平坦。一般的线形模型在拟合现实生活中的情况是作用很有限，如果方程是一个曲线，我们通常将它切割成尽可能多的小曲线去分段拟合。其中w,b是未知参数，需要我们去迭代计算。sigmiod函数是。

Datawhale X 李宏毅苹果书 AI夏令营: task2

wwj619wwj的博客

08-31

872

Datawhale task2 Notes

Datawhale X 李宏毅苹果书 AI夏令营入门班选修3

09-03

结果prediction

Datawhale X 李宏毅苹果书 AI夏令营进阶班选修笔记

09-03

运行结果

扩散模型（2）--1

m0_63860007的博客

09-29

844

生成模型通过学习并建模输入数据的分布，从而采集生成新的样木，该模型广泛运用于图片视频生成、文本生成和药物分子生成。扩散模型是一类概率生成模型，扩散模型通过向数据中逐步。

[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors

m0_52911108的博客

09-27

1358

本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。

Linux嵌入式有发展吗，以及对uboot，kernel，rootfs的领悟

rjszcb的博客

09-30

678

上一份工作是2022,11—2023，11年底，汽车公司，底层修修改改，编译镜像，修改后，客户给东西，重新编译给他，客制化配置启动参数，环境，支持应用部门，不懂怎么使用某些驱动。uboot到底是干嘛的，想想，emmc的镜像文件是怎么被读到ddr的，emmc为啥可以被分区，烧录镜像，tftp网络命令为啥可以运行，启动设备时，为啥lcd可以看到图像，kernel还没启动，怎么出图像的。不管做应用开发，驱动开发也好，知道，系统原理，驱动框架，进程管理调度，内核竞争，信号，中断，锁，这些就够了。

大模型~合集5