- 博客(6)
- 收藏
- 关注
原创 Datawhale X 李宏毅苹果书 AI夏令营 task03
深的模型跟浅的模型比起来,灵活性比较大,但损失却没有办法比浅的模型压得更低代表说优化有问题,梯度下降不给力,因此要有一些其它的方法来更好地进行优化。是一种评估模型性能的方法,它通过将数据集分成多个子集,依次使用每个子集作为验证集,其余子集作为训练集,循环进行训练和验证,最终得到模型的平均性能。如果是深度学习的话,就给它比较少的神经元的数量,本来每层一千个神经元,改成一百个神经元之类的,或者让模型共用参数,可以让一些参数有一样的数值。:模型的参数太多,导致模型能够记住训练数据的每一个细节,包括噪声。
2024-09-01 10:00:00
236
原创 Datawhale X 李宏毅苹果书 AI夏令营 task02
对于上述图,“蓝线 1 函数斜坡的起点,设在红色函数的起始的地方,第 2 个斜坡的终点设在第一个转角处,让第 1 个蓝色函数的斜坡和红色函数的斜坡的斜率是一样的,这个时候把 0+1 就可以得到红色曲线左侧的线段。接下来,再加第 2 个蓝色的函数,所以第2 个蓝色函数的斜坡就在红色函数的第一个转折点到第 2 个转折点之间,让第 2 个蓝色函数的斜率跟红色函数的斜率一样,这个时候把 0+1+2,就可以得到红色函数左侧和中间的线段。还有更复杂的情况下。不同的w,b的组合会有不同的损失,我们需要把损失尽量减小。
2024-08-28 10:29:59
834
原创 Datawhale X 李宏毅苹果书 AI夏令营 task01
梯度下降:“所以常常可能会听到有人讲到梯度下降不是个好方法,这个方法会有局部最小值的问题,无法真的找到全局最小值。事实上局部最小值是一个假问题,在做梯度下降的时候,真正面对的难题不是局部最小值。有两个参数的情况下使用梯度下降,其实跟刚才一个参数没有什么不同。如果一个参数没有问题的话,可以很快的推广到两个参数。我的理解是用梯度下降的方法可能能找到极值,但极值不一定是最值,所以无法真的找到全局最小值。学习任务:6页关于机器学习的文档+视频。在”损失“那里有点不理解。学习目标:了解机器学习。
2024-08-24 21:40:11
141
原创 Datawhale AI夏令营第四期 魔搭-AIGC方向 task03笔记
LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整,使其能够适应特定的任务或领域,同时保持良好的泛化能力和较低的资源消耗。这对于推动大规模预训练模型的实际应用至关重要2.Lora微调的原理LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被设计成具有较低维度的参数空间,这样它们就可以在不改变模型整体结构的情况下进行微调。
2024-08-16 19:51:28
273
原创 Datawhale AI夏令营第四期 魔搭-AIGC方向 task02笔记
作为一个AI助手,通义千问就是你专属的、可随时触达的、24小时随时待命的贴心助教,可以帮助你解决很多学习中遇到的问题。2.学会使用AI小助手来帮助自己学习,可以高效地学会、了解一些自己不认识的代码,合理应用可以在是自己的学习效率大大提高。然后自己更改一下生成图片中的正向提示词和负向提示词,生成新的图片,1.了解、读懂baseline,可以利用修改关键词来得到不同的图片。task02 的要求是,将一个小话剧用8张图片来表示。AIGC方向,精读bseline,了解baseline的格式,思路,
2024-08-13 11:09:43
120
原创 Datawhale AI夏令营第四期 魔搭-AIGC方向 task01笔记
先是跑通baseline,建好模型后,根据所得到的模型以及自己加上去的一些特征词之类的来得到图像baseline代码的大致结构:首先,代码导入了需要用到的库,包括 data-juicer 和微调的工具 DiffSynth-Studio:下载数据集kolors,处理数据集:模型微调训练,以及加载训练后的模型:调用训练好的模型生成图片。
2024-08-09 13:02:17
131
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人