- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Linux Ubuntu安装多个cuda版本
因为pytorch版本与cuda版本有一定的对应要求，服务器上的cuda是不能自己随便动的，所以需要在自己账户中安装其他版本的cuda，而不能影响其他账户中已安装的cuda。这里参考了多篇博文总结出以下要点。
2023-04-03 22:23:39
1884
原创 使用alias组合多项指令
Linux下在.bashrc文件夹下添加alias alias_comm="aaa bb; ccc dd; eee 'ff'" #alias_comm: 指令缩写;#多项指令间用“;”隔开#中间涉及字符串时可以用单引号（此时最外层必须为双引号）。添加后执行 source .bashrc 使其生效直接上例子：目标：希望使用一条命令完成以下多条指令：cd hayreen_codegit add -Agit commit -m 'commit from alias'git pu
2022-05-28 16:46:34
3274
原创 vscode 使用Shift+Enter发送python代码到interactive窗口
1.vscode中安装jupter.2.设置——搜索“jupyter send”——打勾（如下图）.
2022-05-23 16:36:05
2248
转载 通俗理解Transformer（自注意力, self-attention)
谷歌在2017年发表了一篇论文《Attention Is All You Need》，论文中提出了transformer模型，其核心就是self-attention的架构，这一突破性成果不仅洗遍了NLP的任务，也在CV中取得了非常好的效果，有大道至简的感觉。本文通过一个通俗易懂的例子[1]来介绍self-attention。文章首发个人博客。（注：本文例子完全来在参考文章，包括文章的gif动图，感谢作者的文章）介绍接下来将通过一下几个步骤来介绍：预处理输入数据 初始化权重 计算key，
2021-09-01 17:35:57
3599
1
原创 Python多进程处理（读、写）numpy矩阵
前言由于需要使用python处理一个380*380的numpy矩阵，经过计算后对其中的每个元素进行赋值，单进程处理大约需要4小时，要处理几百个矩阵，时间上有些耗不起，研究了一下python的多进程（multiprocessing），坑点在于numpy array需要在多个子进程之间共享，总结如下。不对或不妥之处望轻喷。另，据说python目前已加入multiprocessing.shared_memory模块，由于使用的某些包不支持python3.8及以上版本，所以未作研究。目前代码基于Pytho.
2021-08-28 20:43:10
5590
原创 Ubuntu下解决自定义包导入时报错：ModuleNotFoundError: No module named ‘hay_modules‘.
背景：在添加自定义模块时，在个人目录的.bashrc和.profile中添加模块路径，export PYTHONPATH=/home/h**/hayreen_code/hay_moduels/:$PYTHONPATH仍然无法找到该包。ModuleNotFoundError: No module named 'hay_modules'不清楚具体原因，且添加到PYTHONPATH并不是非常好的解决方案。解决方法：通过在site-packages下添加.pth文件来解决。Ub.
2021-05-24 17:19:43
720
原创 使用pandas遍历csv表格数据的效率问题（df.loc/iloc与df.at/iat的异同）
背景 在处理数据量较大的表格（25万行）时，需要遍历表格中的每个值，前期使用df.loc进行遍历，不仅非常耗时，而且运行十几个小时经常崩溃。。。解决方法 在网上搜索解决方案，使用df.at代替df.loc后，竟然几分钟就遍历完成！！！ 特地搜索了一下loc与at的区别，loc和at都是利用index和列名进行检索，但at更快，loc的优势在于可以灵活的对数据进行切片或选择性提取多个数值，例如：df.loc[1:10,'weight']df.loc[[1,3,6],'...
2021-03-25 10:32:56
1662
1
原创 Batch Normalization在CNN中的具体实现（图解），以及对应的其他Normalization类型
Batch Normalization在每个通道（C）上对当前mini batch中全部样本（N）上的全部像素（H,W）进行标准化。即对N×H×W个像素进行标准化。Tips：BN在训练时计算每个mini batch中的均值和方差，在测试时会调用训练时的均值和方差，当训练和测试的分布存在较大差异时，容易产生问题。Layer Normalization对当前mini batch中的每个样本（N）的全部通道（C）中的全部像素（H,W）进行标准化。即对C×H×W个像素进行标准化。Instan..
2020-10-30 09:53:52
638
转载 vscode远程开发，含ssh密钥配置（免密登录）、客户端多私钥配置。
原文地址：https://blog.csdn.net/u010417914/article/details/96918562文章目录vscode远程开发及公钥配置 简介 关于远程开发官网简介 关于SSH简介 环境 插件安装 配置服务器 找到配置文件 修改配置文件 连接服务器 配置密钥 简介 密钥生成 服务器上安装公钥 查看或配置打开密钥登录功能 服务器私钥复制到客户端 vscod.
2020-10-22 16:57:24
11221
1
转载 深入理解Batch Normalization批标准化
原文地址：https://www.cnblogs.com/guoyaohua/p/8724433.html Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论...
2019-05-23 14:19:23
154
转载 PyTorch | backward()中grad_variables 参数详解？
原文地址：https://zhuanlan.zhihu.com/p/29923090TL; DR;假设 x 经过一番计算得到 y，那么 y.backward(w) 求的不是 y 对 x 的导数，而是 l = torch.sum(y*w) 对 x 的导数。w 可以视为 y 的各分量的权重，也可以视为遥远的损失函数 l 对 y 的偏导数（这正是函数说明文档的含义）。特别地，若 y 为标量，w 取...
2019-05-21 17:13:51
1394
转载 package'***' is not available(for R version 3.#.#)
解决方法：source("http://bioconductor.org/biocLite.R")biocLite("***") #包的名称
2018-07-02 09:44:01
9890
3
原创 UnicodeEncodeError:‘utf-8‘ codec can‘t encode characters in position 380-382: surrogates not allowed
考虑是某些字符无法解码为utf-8的编码格式，把dataframe(meta)的元素，在编码过程中，先把无法转化为utf-8格式的字符‘ignore’掉，再进行解码。for i in meta: for j in meta.index: meta.loc[j,i] = meta.loc[j,i].encode('UTF-8','ignore').decode('UTF-8'...
2018-04-16 11:26:41
6268
3
转载 Padndas DataFrame根据列中的元素删除行
In [11]: a=pd.DataFrame(np.array([[3,1],[2,5]]))In [12]: a # 显示aOut[12]:0 10 3 11 2 5In [13]: a[0] > 2 # 取a的第0列,a[0] > 2会形成一个bool类型的DataFrameOut[13]: 0 True1 FalseName: 0, dtype: boolIn [14]: a[...
2018-04-04 09:32:45
895
RStudio帮助页面的外观美化及自定义
2018-03-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人