- 博客(367)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Transformer架构分析
键矩阵包含的是每个位置处的信息摘要，它同样由输入序列的嵌入经过另一个线性变换得到。：值矩阵包含了实际的信息内容，它也是通过输入嵌入经过第三个线性变换获得的。对每一列使用Softmax函数归一化，用归一化的值填入网络，里面的值称为Attention Pattern。可以理解为将嵌入空间中某个方向映射为较小的查询空间的方向，用向量来编码“寻找前置形容词”的概念。基于2B条推文、27B个令牌、120万个未加套的vocab的预训练得到的向量。更有效的方式是值矩阵需要的参数量等于键矩阵和查询矩阵的参数量之和。
2024-09-29 10:53:18
935
原创 Pytorch 学习手册
深度学习框架是用于设计、训练和部署深度学习模型的软件工具包。这些框架提供了一系列预定义的组件，如神经网络层（卷积层、全连接层等）、损失函数、优化器以及数据处理工具，使得开发者可以更加高效地构建复杂的机器学习模型。此外，它们还通常包含自动微分功能，这极大地简化了梯度计算过程，这是训练神经网络时反向传播算法的核心部分。一些流行的深度学习框架包括：TensorFlow - 由Google开发，支持多种语言接口，如Python、C++等，并且拥有一个活跃的社区和丰富的资源库。
2024-09-29 10:13:54
1104
原创 jupyter本地配置
(1)错误：# jupyter notebook: “The kernel appears to have died. It will restart automatically.“在相关文件夹，启动命令行，在命令行执行。会在同一个文件夹下产生同名的。
2024-09-27 13:32:11
256
原创 win11永久关闭Windows Defend
还有一种方式是采用Github上的工具，此处没有尝试。选项，然后先单击应用按钮，最后再点击确定按钮。在打开的窗口中，选中。
2024-09-22 20:55:05
436
原创 kindle云端同步
kindle云端同步比较方便，比数据线同步方便多了。登录亚马逊账户，可以使用以下链接登录时可以使用手机号码，也可以使用邮箱。手机可以通过kindle app，传输书籍。
2024-09-22 20:45:03
229
原创 Win11家庭版找不到gpedit.msc文件怎么办
接下来选择文件另存为，文件类型选择所有文件，名称为Editor.bat，扩展名为。点击系统-系统信息，可以看到系统的版本。然后以管理员的权限执行该文件。win+I打开设置。
2024-09-22 20:44:18
546
原创 Vscode python无法转到函数定义
今天上午换了电脑，使用Vscode发现找不到对应的函数定义了。使用了网上的全部教程。一点用没有。重启电脑，重启Vscode也没有作用。最后通过，解决问题。（也不知道Vscode什么毛病）其余没有用的方式，在我主机上没有用，可能对于别人有用，在此记录一下。（太离谱了，配个Vscode配一上午。最有用的还是重装）
2024-09-10 11:50:19
491
原创 Git工作流程
注意事项：为了后续能够方便查看修改记录，希望大家在git commit时能够认真对待message部分不要把所有文件修改完后一次性提交，完成了一个阶段性任务就要提交一次message部分要对本次修改了哪些文件，以及修改内容做出简要说明 如git commit main.cpp -m (main.cpp)新增了输出重定向。
2024-09-09 20:35:03
864
原创 git常用命令总结
可以在远程创建一个 branch_name 分支，本地分支会自动跟踪该分支。后面再对该分支使用 push 和 pull 就会自动同步，无需再指定分支。Git更新ignore文件直接修改gitignore是不会生效的，需要先去掉已经托管的文件，修改完成之后再重新添加并提交。后，本地会新建一个分支名叫 branch_name ，并自动跟踪远程的同名分支 branch_name。git checkout -b 本地分支名 origin/远程分支名。-u参数会在push的同时会指定当前分支的默认上游分支；
2024-09-09 20:34:02
1010
原创 git使用手册
比如你新增了一行，这就是一个修改，删除了一行，也是一个修改，更改了某些字符，也是一个修改，删了一些又加了一些，也是一个修改，甚至创建一个新文件，也算一个修改步骤:创建本地仓库git init查看状态git status远程仓库关联版本库将本地仓库添加至暂存区git add .推送。
2024-09-09 20:32:40
1364
原创 Zotero同步文献方法
其中，网址输入内容如下：dav.jianguoyun.com/dav。个人建议在安装包目录下建立git仓库，存储插件。注意的是，用户名为坚果云的用户，但密码不是。设置完点击右上方按钮，进行同步。插件安装后的默认存储位置为。4.点击选择“安全选项”
2024-09-09 17:36:28
351
原创 W11系统电脑便捷设置
如果想要恢复之前的自动折叠模式，可以在命令行输入以下命令，然后重启即可！打开命令行，然后输入以下指令，执行完毕后重启电脑就可以了！快速访问窗口一直有文件夹，比较碍眼。采用以下方式快速清理。2.在弹出的“文件夹选项”窗口中，取消图中的三个对勾。(本质上是修改注册表，通过命令行的方式更加直接快捷)
2024-09-08 16:55:31
230
原创 Windows terminal使用说明
从微软商店上下载的方式网速比较慢，一种直接的方式是直接用命令行运行命令# Window Terminal 安装以及使用(2021最新)
2024-09-08 14:26:19
1273
原创 RDMA技术详解
在Rocev2协议中，RDMA从应用层获取的数据切割成大小相同的数据段，每个数据段封装为UDP/IP/Ethernet数据包，传输至网络中。UDP源端口号是任意的，对于不同的数据流端口号不同，因此，可以通过UDP端口号区分不同的数据流，从而完成整个网络的负载均衡。当应用产生发送或者接收操作时（在RDMA中称为原语），它将工作队列中的元素（Work Queue Element，WQE）[工作队列可以是发送队列，也可以是接收队列]放入至相关队列。假设IO设备是普通网卡，网卡对数据包封装前，需要拿到数据。
2024-09-03 20:37:59
758
原创 python中列表的复制与拷贝
在Python中，列表的赋值操作（尤其是使用列表推导式）有时会产生意外的副作用，特别是在涉及可变对象（如列表或字典）时。在你给出的代码片段中，问题出在这行代码：self.hanayo_list = [self.lay_info_list for _ in range(2)]这里，self.lay_info_list 是一个包含四个可变对象（列表、字典、元组和字典）的列表。当你使用列表推导式创建 self.hanayo_list 时，你实际上是在创建一个包含两个指向&nbs
2024-08-21 09:47:49
298
原创 Deepspeed代码解析
map 一下所对应的 module forward 函数名字 得到 RANK 私有的 self.forward_funcs & self.fwd_map,之后便可以使用 self.module() 内存有不同的 module 数据,此时每张卡内已经存有不同的 model 结构了.之后初始化 engine 时,传入的便已经是分区好的model.根据每个 RANK 所保存的不同。作用：将模型放置在设备中。
2024-08-16 11:33:02
359
原创 gdb调试代码
1 list(简写 l)： 查看源程序代码，默认显示10行，按回车键继续看余下的。9 finish，简写fin，执行完某一个函数，并返回函数的执行结果。2 print命令的简写形式为p，使用它打印出变量的值。7 layout src 图像化界面，查看源代码。10 disable [断点标号] 使断点无效。执行至程序的特定的行。11 able [断点标号] 使断点恢复。5 n 执行下一步 c 程序继续运行。6 info b 查看断点信息。3 执行“bt”看一下调用栈。调用main（）函数。
2024-08-12 17:03:00
203
原创 Git The requested URL returned error_403，Token authentication requirements for Git operations
问题原因：2021年github不再接受账户密码验证，必须使用token。
2024-08-09 16:35:47
332
原创 Docker使用手册
请注意，使用 docker commit 命令创建镜像时，它会基于当前容器的状态创建快照，但可能不会包含完整的构建历史记录或 Dockerfile 中的所有步骤。docker commit 命令会创建一个新的镜像，该镜像是基于指定容器当前状态的快照。使用 docker commit 命令创建镜像：使用以下命令将容器打包成镜像。获取容器的 ID：使用 docker ps 命令获取容器的 ID。输出会显示运行中的容器列表，其中包括容器的 ID。：是要打包成镜像的容器的 ID。命令验证新创建的镜像是否存在。
2024-08-09 10:11:25
914
原创 python中列表与元组的区别
创建一个新列表，将原有列表复制到新列表中；,一个能够对python运行内存可视化的网站。任意两个元组相加始终返回一个新分配的元组。
2024-08-08 15:14:41
264
原创 cannot import name ‘split_torch_state_dict_into_shards‘ from ‘huggingface_hub‘
huggingface库太老了，升级一下即可。
2024-08-02 10:57:38
673
原创 在服务器上使用jupyter，本地远程访问
编辑配置文件jupyter_notebook_config.py；该文件上面命令出现过。很多文件都是采用jupyter方式，运行程序语句可以直接看到结果，方便作者理解。据说支持40种编程语言，但是比较广泛的是python。在客户端中输入服务器ip+端口号；如果已经配置anaconda，可以使用。上文服务器端口为8888。
2024-07-31 23:13:30
371
原创 将输出打印至log文件
尽管>比较简洁，但是遇到的需求一般是一方面保存结果，一方面在屏幕显示。输出标准打印信息与错误信息到一个文件。这种条件下，使用tee命令。
2024-07-25 23:14:40
352
原创 错误 raise ValueError(f“No slot ‘{slot}‘ specified on host ‘{hostname}‘“)
更详细的可以再参考链接 https://blog.csdn.net/weixin_43013480/article/details/135674034。官方文档：不能通过CUDA_VISIBLE_DEVICES指定，需要使用deepspeed --include localhost:12,13才可以。
2024-07-25 10:42:18
473
原创 错误 SSL: UNEXPECTED_EOF_WHILE_READING] EOF occurred in violation of protocol (\_ssl.c:1006)
相关链接 https://stackoverflow.com/questions/33410577/python-requests-exceptions-sslerror-eof-occurred-in-violation-of-
2024-07-25 10:41:07
823
原创 错误 The server socket has failed to listen on any local network address. The server socket has failed
原因：中途中断DDP运行，未释放端口号，该进程仍在运行，导致端口号冲突解决方式。
2024-07-25 10:40:32
620
原创 export在linux中的作用
如果使用 VAR=“Hello” 而不使用 export VAR=“Hello”，该变量会被设置为一个局部变量（也叫做 shell 变量），仅在当前 shell 会话中可见。后续在同一个 shell 会话中执行的命令和脚本都可以访问这个变量，但如果启动一个新的子进程（例如运行另一个脚本或程序），这个子进程将无法访问该变量。总结来说，不使用 export，局部变量只在当前 shell 会话中有效，不会继承到子进程中；一个进程有唯一的进程标识符（PID），当一个进程创建一个进程时，被创建的进程称之为子进程。
2024-07-24 22:31:42
290
原创 Vscode快捷键
VisualStudioCode中，经常需要查看某个函数的代码，需要跳转到具体的位置，具体的实现方式有下面三种：1、光标定位到函数，按F122、光标定位到函数，鼠标右键，转到定义3、
2024-07-24 17:03:19
588
原创 wget下载github文件得到html文件
从github/gitee下载源文件，本来是22M下载下来只有11k原因：Github会提供html页面，包括指定的文件、上下文与相关操作。通过wget或者curl下载时，会下载该页面解决方式：github点击Code一栏的raw按钮，获得源文件下载链接。类似https://raw.githubusercontent.com/tatsu-lab/stanford_alpaca/main/alpaca_data.json格式。
2024-07-24 15:40:34
373
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人