Attention优化｜2w字原理&图解: 从Online-Softmax到FlashAttention V1/V2/V3

已于 2024-07-10 15:15:00 修改
阅读量4.1k 收藏 37
点赞数 14
分类专栏： 大模型LLM面试指南 文章标签： 深度学习
于 2024-05-25 23:40:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/139205787
版权

Attention优化｜2w字原理&图解: 从Online-Softmax到FlashAttention V1/V2/V3

作者丨DefTruth@知乎（已授权）

来源丨https://zhuanlan.zhihu.com/p/668888063

本文首先从Online-Softmax的角度切入，由浅入深地讲解了3-pass Safe-Softmax、2-pass Online-Softmax以及1-pass FlashAttention的原理；然后，进一步详细讲解了FlashAttention-1和FlashAttention-2算法中各自的优化点、FlashAttention IO复杂度分析以及适用场景、FlashAttention在分布式训推中的应用；并且，通过图解的方式通俗易懂地讲解了FlashAttention种关于

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Cannot load settings from file：PyCharm打开本地项目不显示项目文件
风口IT猪的成长录
08-10 2973
PyCharm：Cannot load settings from file.1. Cannot load settings from file.2. 打开本地项目不显示项目文件 1. Cannot load settings from file. 使用 PyCharm 时，Project Structure 里存在多余空的Project时，每次打开 PyCharm ，都会显示 Cannot load settings from file. 原因：可能是由于Project创建时的root切换，或者为空，
PyCharm打开本地项目重启后消失（解决Project不能删除问题）
风口IT猪的成长录
08-10 2285
PyCharm打开本地项目重启后消失问题描述解决办法删除Project 问题描述 从本地导入一个项目，在原来的 Project 修改 root 目录，并修改编译器，重启后该项目消失。 解决办法 新建一个Project导入项目所在目录，重新attach当前WorkSpace，即可搞定！ 删除Project 当我们创建的project过多时，有时候不想用，但是发现PyCharm不能删除，只能重命名。如果你想删除的话，可以在下一次创建项目时，覆盖原来的项目，之后可以rename，也算一种删除，这样就不用每次都
PyCharm问题：PyCharm打开本地项目不显示项目文件
weixin_42580692的博客
01-09 1928
软件：PyCharm 2016.3。
Pycharm加载项目时异常，看不到自己的项目文件
綦枫Maple的博客
11-08 2386
最近看到一个朋友问，他把项目导入pycharm为什么项目里的包不在项目里显示，只在projects file里显示？
Pycharm的项目目录不显示，只有文件没有文件夹了，左侧栏颜色黄色
2301_79485441的博客
09-26 3064
找到文件夹下的idea文件夹，删除，重新打开项目文件。关机重启电脑，重新打开pycharm。可能是项目文件配置出错了。
pycharm文件夹未显示
weixin_45191158的博客
07-26 1068
【代码】pycharm文件夹未显示。
PyCharm“设置“中没有“项目“选项
m0_52547482的博客
07-07 879
PyCharm软件"设置"中没有"项目"选项。
Pycharm打开已有项目配置python环境的方法
12-17
本文将详细介绍如何在PyCharm中打开已有项目并配置Python编译环境。 首先，打开PyCharm进行项目导入。启动PyCharm，点击菜单栏的“File” -> “Open...”，然后在弹出的对话框中选择你要打开的项目根路径。这样，...
解决pycharm导入本地py文件时,模块下方出现红色波浪线的问题
09-16
在使用PyCharm进行Python开发的过程中，可能会遇到这样的情况：当你尝试导入一个位于本地项目的其他py文件时，虽然导入语句能够正常执行，但在编辑器中却会看到该导入语句下方出现了红色波浪线。这种情况可能会让人...
详解pycharm的newproject左侧没有出现项目选项的情况下创建Django项目的解决方法/社区版pycharm创建django项目的方法
09-24
在使用PyCharm社区版创建Django项目时，有时会遇到“New Project”左侧未显示Django选项的情况。这通常是由于PyCharm社区版不直接内置Django支持导致的。以下是一步步解决这个问题并手动创建Django项目的方法： 1. ...
pycharm无法导入自己写的包以及Project栏中不显示项目文件
我亦无他，唯手熟尔
12-15 1284
pycharm无法导入自己写的包以及Project栏中不显示项目文件解决方案
pycharm运行正确，部分内容无法显示问题解决
LJL_python的博客
12-22 803
结束。
python程序编译之后、找不到生成的pyc文件_浅谈python编译pyc工程--导包问题解决...
weixin_36455001的博客
02-04 850
利用python 编译工程，生产pyc文件pyc文件好处：是一种二进制机器码，并且隐藏了源文件代码，但是有和py文件一样的功能(可以理解为效果一样)所以可以将代码隐藏，便于商业价值，保护代码隐私还能和py文件一样可运行import compileallcompileall.compile_dir(r'/path')所以在一些情况下，需将源文件工程批量生成pyc文件来隐藏代码。上面代码即为 批量生成...
PyCharm 打开本地项目不显示项目文件
热门推荐
huang.xiao的专栏
10-11 1万+
一、问题现象 PyCharm之前一直正常。 从github克隆了一个项目到本地。 用PyCharm打开，发现打开后不显示项目文件。 问题排查： 本地新建项目发现可以显示项目文件 通过file–>settings–>project stucture—>选中自己的项目路径，然后将其标记成Sourses和Excluded，但是还是不能看到项目文件。 二、解决办法 问题分析 PyCharm打开的本地项目，里面有.idea目录，这个目录时PyCharm对应的项目配置。 不同版本的PyCha
pycharm导入项目后，目录结构及文件显示灰色，执行脚本后提示ModuleNotFoundError
weixin_32906197的博客
03-10 1112
新导入python项目，需要Setting 下 添加项目结构，如图点击+,选中根目录即可。
常见Python运行时错误
程序猿的视界
12-19 3197
当初学 Python 时，想要弄懂 Python 的错误信息的含义可能有点复杂。这里列出了常见的的一些让你程序 crash 的运行时错误。 1）忘记在 if , elif , else , for , while , class ,def 声明末尾添加 ：（导致 “SyntaxError ：invalid syntax”） 该错误将发生在类似如下代码中： if spam == 4
pycharm目录下的文件没有显示出来，可能是一下配置不对
qq_15821487的博客
10-17 3744
找到被排除的文件、取消被排除即可显示。
为什么用PyCharm打开某个项目，有些项目会显示Git工具栏，而有些项目没有？
m0_52848925的博客
06-09 5234
如果项目的 .git 文件夹被删了，PyCharm则会通过 .gitignore 文件或者 .gitmodules 文件来识别项目关联的Git仓库，并显示Git工具栏。②被修改过的文件的颜色会变，不再是黑色了，会变成蓝色（修改了内容）、红色（新增的文件，但没有git add）、绿色（新增的文件，且已经git add，没有commit）。②PyCharm会显示Git工具栏，但如果你对项目进行了修改，它不会提示你进行git add和commit（就是将新改的信息记录到 .git 文件夹里）。
pycharm打开文件不全
最新发布
02-14
### PyCharm 打开文件显示不全的解决方案 当遇到PyCharm打开文件显示不全的情况时，可以尝试以下几种方法来解决问题。 #### 方法一：清理缓存并重启IDE 有时IDE内部缓存可能导致文件加载异常。通过清除缓存再启动程序能够有效改善此状况。具体操作路径为`File -> Invalidate Caches / Restart...`,之后按照提示完成相应动作即可[^1]。 #### 方法二：调整编辑器字体设置 如果是因为字体原因造成的内容显示问题，则可以通过修改编辑区内的文字样式来进行修复。进入`Settings/Preferences | Editor | Font`选项卡内更改合适的字号大小以及启用抗锯齿功能等参数配置[^2]。 #### 方法三：检查项目结构配置 对于某些特定场景下的源码视图缺失现象，可能是由于当前工作空间未能正确识别全部模块所引起。此时应该核查Project Structure里的Content Roots设定项是否涵盖了整个工程根目录；必要时可手动添加遗漏部分，并保存变更生效[^3]。 ```python # 示例代码用于展示如何获取当前项目的根路径，在实际应用中可根据需求调用该函数辅助排查问题 import os def get_project_root(): current_file = os.path.abspath(__file__) project_dir = os.path.dirname(current_file) while not os.path.exists(os.path.join(project_dir, '.idea')): parent_dir = os.path.dirname(project_dir) if parent_dir == project_dir: break project_dir = parent_dir return project_dir print(f"Current Project Root Directory is {get_project_root()}") ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值