![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AI大模型技术积累
文章平均质量分 87
嗜睡的篠龙
要做正确的事,而不是容易的事。
Lifelong learning is all you need~
展开
-
【Transformer】基本概述
的核心思想,就是抛弃传统的递归(recurrence)或者卷积(convolutions)模块,完全采用注意力机制(attention mechanisms),允许模型在处理序列的每个元素时,都能考虑到序列中的所有其他元素,因此,这种机制就使得模型能够更好地捕捉序列内部的长距离依赖关系。下图是原始论文中的结构图,我把它按照重要程度划分为了7个部分,其中红色的前五个部分最为重要(面试官最喜欢考验候选人的部分),必须要深入理解和掌握,蓝色的后两个部分是相对次要但也要深入理解。原创 2024-09-02 22:39:00 · 552 阅读 · 0 评论 -
【Transformer】Normalization
Normalization,也就是归一化(或者叫标准化)操作,已经广泛应用于神经网络模型中,成为必不可少的组件。保证训练稳定性:当训练更深的神经网络时,计算反向传播的参数往往是指数级变化,太大或者太小的参数送入激活函数后很容易造成梯度爆炸或者梯度消失,因此Normalization就使得每一层激活函数的输入,可以控制在近似理想的数值区间中,使得训练更加稳定。原创 2024-09-02 00:40:49 · 678 阅读 · 0 评论 -
【AI大模型】相关知识梳理
为了系统性梳理AI,大模型,训练和推理,数学,机器学习,python等基础知识,并在此基础上深入理解经典论文,本人将持续更新有关这些方向的基础知识博客,博客 将保持一如既往的 通俗易懂的风格。并且结合代码来深入理解。原创 2024-09-01 10:08:16 · 453 阅读 · 0 评论