kkkjjmm-CSDN博客

原创 Datawhale X 李宏毅苹果书 AI夏令营(第五期) Task 3 学习笔记

CNN 是一种比较没有灵活性的模型，其是针对图像的特性来限制模型的灵活性。所以全连接神经网络，可以找出来的函数所形成的集合其实是比较大的，CNN 所找出来的函数，它形成的集合其实是比较小的，其实包含在全连接网络里面的，但是就是因为CNN 给了，比较大的限制，所以 CNN 在图像上，反而会做得比较好。在这 3 个点上面，要让损失低，所以模型的这个曲线会通过这 3 个点，但是其它没有训练集作为限制的地方，因为它的灵活性很大，所以模型可以变成各式各样的函数，没有给它数据作为训练，可以产生各式各样奇怪的结果。

2024-08-31 22:02:11 267

原创 Datawhale X 李宏毅苹果书 AI夏令营(第五期) Task 2 学习笔记

尽管这个模型在训练数据上展现出了良好的拟合能力，通过调整权重和偏置参数（w和b），成功地将损失降低到了较低的水平，但在面对未知数据时，其预测性能却显著下降。具体来说，模型主要依赖于前一天的观看次数来预测隔天的观看人次，这种方法在捕捉数据的变化趋势上显得过于简单，未能充分考虑到数据中存在的复杂性和周期性特征。因此，引入了一个新的模型，模型不仅考虑了当天的观看人次，还综合考虑了前7天的观看人次，并通过赋予不同的权重来反映这些天数对预测结果的不同影响，这种模型称为。针对这一部分，书中提到了。

2024-08-31 21:55:19 303

原创 Datawhale X 李宏毅苹果书 AI夏令营(第五期-深度学习进阶) Task 3 学习笔记

由于每个神经元跟输入的向量中的每个数值都需要一个权重，所以当输入的向量长度是 100 × 100 × 3，且第 1 层有 1000 个神经元时，第 1 层的权重就需要 3 ×10的7次方个权重，这是一个非常巨大的数目。这个神经元会把 3 × 3 × 3 的数值“拉直”变成一个长度是 3 × 3 × 3=27 维的向量，再把这 27 维的向量作为神经元的输入，这个神经元会给 27 维的向量的每个维度一个权重，所以这个神经元有 3 × 3 × 3 = 27 个权重，再加上偏置（bias）得到输出。

2024-08-31 21:50:45 386

原创 Datawhale X 李宏毅苹果书 AI 夏令营第五期：深度学习进阶：task2学习笔记

于是有一个解决方案是引入动量的方法，在物理学中，一个物体从高处滚下来会因为具有动量而具备惯性，也就是说，在模型优化过程里，先前的梯度下降如果很快，我们期望也能像物理世界的球一样具备惯性，使得梯度下降的时候不会落到第一个“坑”就不动了，所以参数更新时，我们加入动量的概念，帮助模型更容易找到全局最小值。但如果你的学习率很低，那你从高坡下山的效率就会很低，所以我们期望学习率要是可以在梯度下降的过程中自己变化就好了，刚下坡的时候一步十米，走着走着一步五米，最好可以慢下来，那么我们就引入了自适应学习率这个概念。

2024-08-31 21:45:03 252

原创 Datawhale AI 夏令营第五期深度学习（入门）Task1 学习笔记

机器学习，即机器具有学习的能力。w与b都是未知的参数，w称为权重(weight)，b称为(bias)，x1称为特征(feature)，输入x1对应的真实值称为标签(label)。这样反复更新w和b，可以逐步将L减小，这里涉及到微积分的知识，不懂的可以看b站吴恩达的视频。定义损失(Loss)，损失也是个函数，他的输入是模型里面的参数w和b，输出是参数对应的损失。对于不同的w与b，可以得到不同的L值，将损失函数画图，就可以看出损失函数较小的点在哪里，画出来的等高线称为误差表面(error surface)。

2024-08-25 13:54:10 279

原创 Datawhale AI 夏令营第五期深度学习（进阶）Task1 学习笔记

这种噪声使优化过程具有一定的随机性，有助于跳出局部最小值，特别是在非凸问题中，相比于始终沿最陡峭方向下降的批量梯度下降，随机梯度下降更容易找到全局最小值或更好的局部最小值。由于GPU的并行计算能力，并且小批量参数更新的次数是远大于大批量训练的，而每一次参数更新的时间都是一样的，则实际上大批量训练一个回合的时间相较于小批量训练是更快的，但小批量的梯度更新是带有噪声的，则在优化以及泛化方面上是更好的，可以更好地逃离局部极小值。这种随机性有时会使优化过程“跳过”局部最小值，增加找到更好的解决方案的机会。

2024-08-25 13:48:53 315

kkkjjmm的博客

原创 Datawhale X 李宏毅苹果书 AI夏令营(第五期) Task 3 学习笔记

原创 Datawhale X 李宏毅苹果书 AI夏令营(第五期) Task 2 学习笔记

原创 Datawhale X 李宏毅苹果书 AI夏令营(第五期-深度学习进阶) Task 3 学习笔记

原创 Datawhale X 李宏毅苹果书 AI 夏令营第五期：深度学习进阶：task2学习笔记

原创 Datawhale AI 夏令营第五期深度学习（入门）Task1 学习笔记

原创 Datawhale AI 夏令营第五期深度学习（进阶）Task1 学习笔记

原创 Datawhale X 魔搭 AI夏令营第四期-AIGC文生图 Task3笔记

原创 Datawhale X 魔搭 AI夏令营（第四期）AIGC方向学习笔记Task02

原创 Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task1笔记

空空如也

空空如也