MrBlackmzq-CSDN博客

原创 Datawhale Leecode基础算法篇 task01：枚举算法

枚举算法（Enumeration Algorithm）：也称为穷举算法，指的是按照问题本身的性质，一一列举出该问题所有可能的解，并在逐一列举的过程中将它们逐一与目标状态进行比较以得出满足问题要求的解。在列举的过程中，既不能遗漏也不能重复。简而言之，枚举算法的核心通过列举问题的所有状态，将它们逐一与目标状态进行比较，从而得到满足条件的解。由于枚举算法要通过列举问题的所有状态来得到满足条件的解，因此在问题规模变大时，其效率一般较低。多数情况下容易编程实现，也容易调试。

2024-09-17 16:21:15 644

原创 Datawhale X 李宏毅苹果书（进阶） AI夏令营 task03笔记

目前已经讲了两个简化的方法，我们来总结下。如图 4.17 所示，全连接网络是弹性最大的。全连接层（fully-connected layer）可以自己决定看整张图像还是一个小范围。但加上感受野的概念以后，只能看一个小范围，网络的弹性变小。参数共享又进一步限制了网络的弹性。本来在学习的时候，每个神经元可以各自有不同的参数，它们可以学出相同的参数，也可以有不一样的参数。但是加入参数共享以后，某一些神经元无论如何参数都要一模一样的，这又增加了对神经元的限制。而。

2024-09-02 22:17:33 1253

原创 Datawhale X 李宏毅苹果书（入门） AI夏令营 task03笔记

图 2.4(a)横轴指的是训练的过程，就是参数更新的过程，随着参数的更新，损失会越来越低，但是结果20 层的损失比较低，56 层的损失还比较高。再跑 1 层、2 层跟4层之后显示，所有的模型的结果都不好，2层跟 3 层的错误率都是 2 千多，其实4层跟1层比较好，都是 1800 左右，但是这四个模型不约而同的觉得 2 月 26 日应该是个低点，但实际上 2 月 26 日是一个峰值，模型其实会觉得它是一个低点，也不能怪它，因为根据过去的数据，周五晚上大家都出去玩了。，让模型不要有过大的灵活性。

2024-09-01 20:49:40 1108

原创 Datawhale X 李宏毅苹果书（进阶） AI夏令营 task02笔记

所以我们从最原始的梯度下降，进化到这一个版本，如式所示：其中是动量。这个版本里面有动量，其不是顺着某个时刻算出的梯度方向来更新参数，而是把过去所有算出梯度的方向做一个加权总和当作更新的方向。接下来的步伐大小为/σit。最后通过 ηt来实现学习率调度。这个是目前优化的完整的版本，这种优化器除了 Adam 以外，还有各种变形。但其实各种变形是使用不同的方式来计算或 σit，或者是使用不同的学习率调度的方式。Q：动量。

2024-08-30 22:13:29 1192

原创 Datawhale X 李宏毅苹果书（入门） AI夏令营 task02笔记

之前是 L(w, b)，因为 w 跟 b 是未知的。现在未知的参数很多了，再把它一个一个列出来太累了，所以直接用 θ 来统设所有的参数，所以损失函数就变成 L(θ)。损失函数能够判断 θ 的好坏，其计算方法跟刚才只有两个参数的时候是一样的。先给定 θ 的值，即某一组 W, b, cT, b 的值，再把一种特征 x 代进去，得到估测出来的 y，再计算一下跟真实的标签之间的误差 e。把所有的误差通通加起来，就得到损失。

2024-08-29 23:23:20 1332

原创 Datawhale X 李宏毅苹果书（进阶） AI夏令营 task01笔记

官方学习文档：https://linklearner.com/activity/16/14/42目录深度学习基础局部极小值与鞍点临界点及其种类判断临界值种类的方法逃离鞍点的方法批量和动量批量大小对梯度下降法的影响大的批量跟小的批量的对比动量法深度学习基础要想更好地优化神经网络，首先，要理解为什么优化会失败，收敛在局部极限值与鞍点会导致优化失败。其次，可以对学习率进行调整，使用自适应学习率和学习率调度。最后，批量归一化可以

2024-08-27 17:17:25 961

原创 Datawhale X 李宏毅苹果书（入门） AI夏令营 task01笔记

如图所示，先随便选一个初始的值，先计算一下 w 对 L 的微分和 b 对 L 的微分，接下来更新 w 跟 b，更新的方向就是 ∂L/∂w乘以 η 再乘以一个负号，算出这个微分的值，就可以决定 w 要怎么更新，b同理，把 w 跟 b 更新的方向结合起来，就是一个向量，在图上显示为红色的箭头，以此类推，一直移动，期待最后可以找出一组不错的 w, b。这里指的“找一个函数”，指的是找一个能够描述一个场景数学规律的函数模型，具体方法大致是：让机器运行算法，通过输入的数据，确定合适的函数参数，逼近实际场景。

2024-08-26 11:44:05 1028

原创 Datawhale X 魔搭 AI夏令营第四期魔搭-AIGC方向 task03笔记

LoRA（Low-Rank Adaptation，低秩适配）是一种高效的微调技术，用于预训练模型的个性化调整。这种技术允许模型适应特定任务或领域，同时保持良好的泛化能力和较低的资源消耗。LoRA 微调的原理LoRA 的核心思想是在预训练模型的关键层中添加低秩矩阵。这些低秩矩阵具有较小的参数空间，因此可以在不显著改变模型整体架构的情况下进行微调。在训练过程中，只有这些新增的低秩矩阵会被更新，而原始模型的大部分权重则保持不变。这种方法减少了需要学习的参数数量，使得模型可以在较少的数据上进行有效的学习。

2024-08-16 23:23:03 580

原创 Datawhale X 魔搭 AI夏令营第四期魔搭-AIGC方向 task02笔记

本次使用的AI工具为通义千问，它是具有信息查询、语言理解、文本创作等多能力的AI助手。（也可以自行选择其他的大语言模型使用，学习过程中不做限制）作为一个AI助手，通义千问就是你专属的、可随时触达的、24小时随时待命的贴心助教，可以帮助你解决很多学习中遇到的问题。关于代码阅读和理解，我们今天尝试让AI助手从两个角度帮助我们：分析代码的主题架构；逐行代码解析。!!!!!

2024-08-14 19:11:18 1450

原创 Datawhale X 魔搭 AI夏令营第四期魔搭-AIGC方向 task01笔记

文生图主要以SD系列基础模型为主，以及在其基础上微调的lora模型和人物基础模型等。在深入探索图像生成技术时，提示词、LoRA、ComfyUI和参考图控制是几个关键概念，它们各自扮演着不同的角色，帮助提升最终生成图像的质量和效果。提示词（Prompts）提示词是生成图像的核心部分，影响着图像的内容和风格。在提示词的构建中，一般包括以下几个要素：主体描述：图像的主要内容或对象。细节描述：补充主体的具体特征，如颜色、形状等。修饰词：增强图像效果的词语，如“华丽的”、“破旧的”等。

2024-08-11 15:52:18 907

MrBlackmzq的博客