endact_00-CSDN博客

原创 Datawhale X 李宏毅苹果书 AI夏令营 Task-3

error surface 不平坦是训练困难的原因之一, 批量归一化能将 error surface 变得平坦.损失值是又参数w 与输入x 共同作用的,如果x输入变化很小 -> 损失值变化小;如果x输入变化很大 -> 损失值变化大;所以将 x 做归一化(), 使得不同特征的变化对损失值影响相对稳定, 可以使得 error surface 变得平坦.

2024-09-03 23:08:55 527

原创 Datawhale X 李宏毅苹果书 AI夏令营 Task-2

上图说明不同的 Loss 函数会影响训练的难易度;左图会一开始就stuck因为梯度很平坦, 右图有很明显的梯度,训练起来更稳定快速.A: 1, 2, 3 数字潜在也表达了他们之间的关系, 1和2 比较接近, 1和3 相差大, 这不能表达类别之间独立的关系;在梯度很小变化的方向上, 平方根越来越小, 导致更新突然爆炸, 跑到梯度变化大的地方, 然后又慢慢恢复到正轨上;Q: 当把模型输出的标量scaler(1, 2, 3) 当作类别处理可以吗?考虑到随着训练时间变长, 梯度总会慢慢变小, 因此可以。

2024-08-26 14:39:44 713

原创 Datawhale X 李宏毅苹果书 AI夏令营 Task-1

如果每次训练都看全部数据,其实每次训练都是一样的, 训练中碰到stuck点,就卡住了;如果更新是在各个不同的batch里面完成, 梯度方向有多样性, 可能会帮助克服一些stuck点;Epoch: 训练所有数据的一次操作, 可由许多 batch 组成;当batch的数据量就是所有的数据时(Full batch), batch等于epoch;batch size 大一点并不会明显增加 batch 的训练时间。本质上新参数的方向及数值是之前所有的 gradient 来决定的;

2024-08-24 17:05:16 421

原创 Datawhale AI夏令营第四期魔搭-AIGC方向 task03笔记

了解了 LORA 模型的本质, 是原模型部分参数的调整, 使用时, 先要把LORA模型(参数)加载到原模型里面, 然后再执行. 这个就是微调的作用.学习了 comfyui 使用流程工作来构建文生图解决方案, 执行没问题;但comfyUI很不稳定, 经常出现重连, 导致图片生成失败.本质上跟task1是一样的, 只是很多的参数配置用UI的方式来完成, 方便了调试过程.另外使用Qwen来生成故事提示词, 非常方便.对于模型里面的工作机理, 还需要继续专研.

2024-08-17 21:20:27 161

原创 Datawhale AI夏令营第四期魔搭-AIGC方向 task02笔记

现在大数据处理模型很多，用户在应用大数据分析时，除了将 Hadoop 等大数据平台作为一个存储和批处理平台之外，同样也得关注系统的扩展性和性能。过去开源社区已经发布了很多工具来完善大数据分析的生态系统，这些工具包含了数据分析的各个层面，例如。Apache Arrow 是 Apache 基金会全新孵化的一个顶级项目。它设计的目的在于作为一个跨平台的数据层，来加快大数据分析项目的运行速度。ds 可以先访问行, 再访问列;也可以先访问列, 再访问行;而 Arrow 则是最新加入的一员，它。

2024-08-14 22:59:53 213

原创 Datawhale AI夏令营第四期魔搭-AIGC方向 task01笔记

1. 申请阿里云的算例资源试用 5000U 的资源包, 第二天可以看到使用情况, 最多使用3个月;5. 提示词里面出现的描述会在图片上重点体现, 提示词越具体, 生成图片效果越好. 但太复杂的提示词模型理解不了, 会有错误出现. 感觉与模型参数有关系.3. 教程里面用了很多 ModelScope 提供的python module, 封装了许多训练推理的过程, 需要后面进一步深入研究其用法及背后的原理.6. 多次生成图片后,出现内存不足问题, 不知道有啥方法可以释放内存,但保留程序运行结果,避免重复训练.

2024-08-10 15:33:17 300