- 博客(7)
- 收藏
- 关注
RSS订阅原创 《鞋匠的AI之旅》- 5. Transformer【中】之“解码器的自回归”
解码器综合分析“编码器的输出”以及“模型已生成序列”两部分输入后进行下一个token的预测，这样不停的循环，直到预测任务结束，这个过程称之为自回归，简言之：每个时间步的输出都依赖于它之前的所有时间步的输出。
2024-06-13 23:09:20
763
原创 《鞋匠的AI之旅》- 5. Transformer【中】之“前馈神经网络、残差与归一化”
Transformer中前馈神经网络就像以上帝视角来综合评估一样，而残差和归一化则稳定网络、减轻梯度爆炸和消失的影响
2024-06-12 23:14:02
877
原创 《鞋匠的AI之旅》- 5. Transformer【上】
类比人类大脑解决问题的方式，分析几个transformer基本概念，编码、解码、位置编码和多头自注意力
2024-06-12 19:07:18
805
原创 《鞋匠的AI之旅》- 4. 自注意力
基于现实故事，自然而然的理解自注意力机制，理解查询矩阵、键矩阵和值矩阵的生成，一步一步生成最后的新的输入向量的表示
2024-06-12 09:06:39
748
原创 《鞋匠的AI之旅》- 3. 词嵌入
通过词嵌入的宏观想象来直观理解词嵌入，并从概率分布、不确定性的度量、熵、KL散度、交叉熵来推导词嵌入的生成过程。
2024-06-11 22:21:12
967
原创 《鞋匠的AI之旅》- 1. 缘起 & 2. 新生【简析人工神经网络的原理】
通过解决2维世界的现实问题简析人工神经网络的原理：展现最原始的人工神经网络模型，激活函数的作用，导数、偏导数、梯度、链式法则，以及反向传播算法等最基本的人工神经网络概念、原理和算法。
2024-06-11 10:56:55
480
原创 《鞋匠的AI之旅》- 总章 【一段从神经元到GPT的AI之旅】
街边擦鞋的鞋匠打算记录下自己的修行路，那是一段从神经元到GPT的AI旅程。每当一双落满灰尘的皮鞋伸到眼前，他总能娴熟地擦拭干净。能拂去一些尘埃，不论是为自己还是他人，他总能感到一丝慰藉。浮于脑际的那句“一念色形，一念色空，浮念不息，修行不止”指引着他躬身向前。本文是记录的是鞋匠的旅行计划，包括最简单的人工神经网络，梯度与反向传播算法，词嵌入，自注意力，Transformer等。
2024-06-11 10:55:28
291
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人