- 博客(5)
- 收藏
- 关注
RSS订阅原创 李宏毅机器学习第五节（自学）Transformer
但是，虽然表面上看起来有种种的厉害之处,尤其是平行化是它最大的优势,但是 NAT 的 Decoder ,它的 Performance,往往都不如 AT 的 Decoder。根据这个蓝色的向量裡面,给每一个中文的字的分数,我们会决定第二个输出，再作为输入，继续输出后续的文字，以此类推……输入是声音讯号的一串的vector,输出是语音辨识的结果,也就是输出的这段声音讯号,所对应的文字⇒输出的长度由机器自己决定,输入的文字的长度是N,输出的句子的长度是N',那N跟N'之间的关系,也要由机器自己来决定。
2024-02-01 12:16:53
887
1
原创 李宏毅机器学习第三节CNN（自学1）
神经网络的输入是向量表示的，可以将图片表示为H*W*C的tensor，H表示长，W表示款，C表示通道数。如果输入的向量长度是 100 × 100×3,有 1000 个 Neuron,那我们现在第一层的 Weight,就有 1000×100 × 100×3,也就是 3×10 的 7 次方，是一个非常巨大的数目。同样的pattern，可能在图像上的不同位置，如果每一个神经元都放一个检测鸟嘴的感受野，所需数据量太大。总之，每一个感受野都由一组相同的神经元守备，由于输入的不同，导致了输出的差异。
2024-01-19 11:29:48
843
1
原创 李宏毅机器学习第二节（自学1）
最新版本中有Momentum，也就是说现在不是完全顺著这一个时间点算出来的gradient的方向来update参数，而是把过去所有算出来gradient的方向，做一个加总当作update的方向，即momentum接下来应该要update多大的步伐则通过Root Mean Square%5CTheta%5CTheta。
2024-01-18 19:10:14
866
原创 李宏毅机器学习第一节-深度学习和机器学习基本概念（自学）
在实际工作中，经常会将数据分为多个batch，对每一个batch求Loss并使用梯度下降进行优化，每一个优化称为一个updata，将所有batch都求Loss并优化后成为一个epoch。回归输出的是数值，分类输出的是类别。梯度下降：首先给未知参数一个初始值，然后求Loss对参数的微分，现在的参数值减去学习率乘以微分的值就是新的参数值。给定一组参数，计算给定参数的结果和真实结果的差异值e，然后对e进行平均。Loss是一个函数，输入是定义模型中的参数。目的：找到参数的值，使得Loss最小。
2024-01-18 11:51:14
355
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人