- 博客(5)
- 收藏
- 关注
RSS订阅原创 学习记录（三）
李宏毅《生成式AI：Stable diffusion、DALL-E、Imagen背后共同套路》由三部分构成：3、Decoder输入的一段文字，进入Text Encoder，输出为几段向量。上一步输出的向量加上噪声作为Generation Model的输入，经过生成模型输出一个“中间产物”，这个中间产物可以是小图（图片的压缩版本），也可以是一个latent representation。上一步输出的“中间产物”作为Decoder的输入，经过Decoder，最后生成一张图像。
2023-04-04 19:04:16
98
1
原创 学习记录（二）
李宏毅《机器学习2021》类神经网络训练不起来怎么办（一）：局部最小值（local minima）与鞍点（saddle point）我们观察训练Loss时可能会出现以下两种情况：第一种（蓝色线）：Loss下降到一定程度，便不再变动，但此时的Loss并不满足我们的要求。第二种（橙色线）：Loss一直没有下降。出现这两种现象可能原因：损失函数的梯度接近于零，便不再更新下降。
2023-03-28 10:45:14
57
原创 学习记录（一）
训练一般都是将训练集分为很多个batch，从第一个batch开始梯度下降更新未知参数，第二个batch在第一个batch更新参数的基础上再梯度下降进行更新，以此类推。提到了Sigmoid和ReLU两个激活函数，用Sigmoid函数来拟合分段的曲线（piecewise linear curve）。网络的深度（deep）是隐藏层的个数，网络也并不是越深越好的，越深可能会产生过拟合的问题。经过全部的batch才算是一个epoch，而update是每一个batch都会更新。预测YouTube频道的观看人数。
2023-03-24 20:42:18
68
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人