2021年03月_ai-ai360

原创 pytorch item sum方法使用

item是将tensor类型数据转换为标量sum有三种形式 torch.sum(a), torch.sum(a, axis = 0), torch.sum(a, axis = 1)torch.sum(a):计算a所有元素求和torch.sum(a, axis=0):a是二维矩阵，固定住列，扫描每行求和，结果就是每一列元素相加torch.sum(a, axis = 1)a是二维矩阵，固定住行，按列求和，结果就是每一行元素相加深度学习里面用得最多就是第一种和第三种，行

2021-03-26 11:59:10 1265

原创 python类方法getitem的使用

当一个类中定义了__getitem__方法，那么它的实例对象便拥有了通过下标来索引的能力。class A(): def __getitem__(self, index): return index * 2a = A()索引访问a[2] #output: 4如果切片访问呢，return 返回切片列表class A(): def __getitem__(self, index): import numpy as np tmp.

2021-03-25 22:43:11 2197

原创 pyaudio安装失败解决办法

pip 安装pyaudio失败$ pip install pyaudioCollecting pyaudio Using cached PyAudio-0.2.11.tar.gz (37 kB)Building wheels for collected packages: pyaudio Building wheel for pyaudio (setup.py): started Building wheel for pyaudio (setup.py): finished with st

2021-03-18 18:15:27 1655

原创 PermissionError: [Errno 13] Permission denied: ‘/usr/share/jupyter/nbconvert/templates/conf.json‘

root用户访问jupyter notebook正常普通用户访问失败现象 PermissionError: [Errno 13] Permission denied: '/usr/share/jupyter/nbconvert/templates/conf.json'或者PermissionError: [Errno 13] Permission denied: '/opt/anaconda3/share/jupyter/nbconvert/templates/html/conf.json'

2021-03-15 12:45:20 2566 2

原创 ubuntu修改主机名-临时修改和永久修改

临时修改，重启后失效修改命令hostname newName永久修改需要改下这两个文件(base) root@ai:/etc# more /etc/hostnameai-PowerEdge-R740(base) root@ai:/etc# more /etc/hosts127.0.0.1 localhost127.0.1.1 ai-PowerEdge-R740使用临时修改方式，修改完重新打开终端，看到主机名已经改变了，但是去看hostname和hosts的配

2021-03-15 10:45:28 274

原创 ubuntu20.04 RTX 8000 安装GPU驱动，CUDA，cuDNN，TensorRT

GPU驱动安装安装正确合适的GPU驱动至关重要，关系着是否能正常使用GPU显示或者是加速运算等工作。各型号GPU皆可从NVIDIA 官方网站下载到适合的GPU驱动版本。通过选择GPU型号、操作系统，即可找到适合自己系统的GPU驱动。如果下载的是源码文件则需要编译安装，不过现在官方提供的Linux显卡驱动多是以.run为后缀的，这种直接在命令行中运行 bash driveName.run 运行即可安装。下载驱动我的GPU型号是Quadro RTX 8000, 2020年底英伟达刚出新款GPU，在英伟

2021-03-15 00:14:05 3663 4

原创 ubuntu20.04+cuda11+kaldi 安装

方案：ubuntu20.04+cuda11+kaldi本人多次安装实践总结，安装kaldi最佳时间为北京时间早上6点-9点，这段时间安装成功率最高，不会遇到卡死，断网，下载包失败等糟心的事。网上说安装kaldi需要借助上网工具加速，这种说法也不太准确，我多次安装均在正常网络环境。网上有文章说kaldi不能适配cuda11，要改配置。但我用的就是cuda11，不需要改任何配置，成功安装跑起来嗖嗖的。如果没GPU装kaldi没太大意思，还是先解决GPU在考虑安装问题吧。前期准备工作：确定操

2021-03-10 23:49:26 1499 6

原创配置jupyter notebook远程访问

配置jupyter远程访问有的时候我们在linux服务器上安装了jupyter notebook，但有的系统没界面，这个时候可以通过配置远程访问，这样可以在本地浏览器里愉快使用jupyter notebook了创建虚环境安装完anaconda系统自动激活base虚环境，而且base虚环境在anaconda安装时候已自动安装jupyter，所以直接用jupyter notebook 生成配置文件。(base) root@ai-PowerEdge-R740:~# jupyter notebook --g

2021-03-08 23:23:59 514

原创 CUDA+NVIDIA Driver+Linux+GCC之间的版本对应关系表格

CUDA，NVIDIA Driver，Linux，GCC之间的版本对应关系表格CUDA与Driver的对应版本Table 1. CUDA 11.2 Component VersionsComponent NameVersion InformationSupported ArchitecturesCUDA Runtime (cudart)11.2.146x86_64, POWER, Arm64cuobjdump11.2.135x86_64, POWER, Arm64

2021-03-05 14:09:14 14779 4

原创 pip and conda 配置多个镜像源

pip原生镜像源速度一般都很慢，替换python的pip源，pip安装速度会快很多cd ~mkdir .pip直接新建并编辑pip.conf：sudo vim ~/.pip/pip.conf添加以下内容：[global]index-url=https://pypi.tuna.tsinghua.edu.cn/simple/extra-index-url= http:/

2021-03-04 17:15:10 2440 3

原创 tmux神器的使用总结

Tmux 使用教程Tmux 是一款终端复用命令行工具，一般用于 Terminal 的窗口管理。建议在本地 SSH 工具中使用 Tmux，Tmux 有如下特性：1. 可以同时开启多个会话和窗口，并持久地保存工作状态。2. 断线后任务能够在后台继续执行。第一个特点不算什么优势，我终端用的是mobaxterm，开个终端窗口秒开。我主要用Tmux 第二个特性，解决由于断线导致的任务丢失问题。一般我们都会突然遇到网络不通，电脑没电了，脚踢到网线了，要下班但任务还没跑完，又不能关机，电脑卡死重启等这种尴尬

2021-03-04 17:08:03 490 1

原创 ssh登录失败排查过程

安装ssh服务和客户端, 在控制台，鼠标点击左面右击，点开ternmal, 默认使用不了vim工具，可以先使用vi.安装ssh服务和客户端centos环境yum -y install openssh-server openssh-clientsubuntu环境apt-get updateapt-get install openssh-server openssh-clients正常安装完ssh服务是启动的，可以通过ps -ef | grep ssh查看，如没启动，手动启动，启停服

2021-03-04 12:07:06 4498 2

原创 docker基本命令和简单使用操作示例

docker 安装ubuntu系统sudo apt-get install docker.iosystemctl start dockersystemctl enable dockercentos系统yum install docker.iosystemctl start dockersystemctl enable docker配置镜像源国内Docker镜像仓库名称链接Docker 官方中国区https://registry.docker-cn.co

2021-03-03 17:19:41 171 1

原创推荐一款登录终端神器mobaxterm

经常需要从客户端登录服务器或者设备，如从自己windows登录到linux服务器，服务器一般是没有界面，这个时候需要借助终端工具登录。我用过的终端有putty,xshell等。putty很难用，一般不推荐。xshell很好用，但收费，我在华为时候，华为都不让xshell。但找到一个xshell替代版本，就是 mobaxterm，开源版本对个人来说已经足够了。下载地址：https://mobaxterm.mobatek.net/download-home-edition.html我已下载好最新版链接：

2021-03-03 16:18:45 483 1

原创【强推】李宏毅2021机器学习深度学习(最新最全)

是的，终于又等到你，口碑爆棚的台大李宏毅老师机器学习深度学习2021春季班在元宵节上线啦。看看课程表基本上一周更新一次，大概3个月，目前更新introduction部分是新录制的，非以往视频。看看大作业每个大作业都是重量级的，覆盖机器学习，深度学习，强化学习等，有Bert,估计还有大魔王GPT3。具体课程内容的topictopic 1: introduction下面内容官网还未更新，预计一周一更topic2: Deep LearningTopic3: Self-At

2021-03-02 23:52:30 5158 2

原创 RuntimeError: CUDA error: all CUDA-capable devices are busy or unavailable

这个问题是因为GPU计算模式设置为独占模式了，可以从这里查看GPU计算模式，并且当前只有829M的内存占用，所以看到网上有人说是BUG，需要重启机器，这种方法不可取。重启机器也只是干掉当前占用GPU机器而已，所以并没有从本质上解决这个问题。有三种计算模式Compute M.：计算模式，0/DEFAULT,1/EXCLUSIVE_PROCESS,2/PROHIBITED将独占修改为默认模式，重新运行程序不报错了。nvidia-smi -g 0 -c 0现在显存中加入了两个计算程序。...

2021-03-01 16:55:58 8499 9

原创目录更换磁盘分区的总结

如何更换磁盘分区，操作过程请看这篇文章给现有目录换分区这种操作纯属linux使用，一般研发人员很少接触到。这种操作搞运维的人员肯定很熟。我只是用kaldi举了个例子，其实没讲关于kadli东西。下面对目录换分区做一个一般化的总结第一，给目录换分区有两种方式，第一种就是将分区挂载到目录，第二种将目录挂载到目录。两种方式都要求目录是已知存在的，如果不存在，必须先事先新建目录，然后再进行挂载。如果目录已存在且该目录已经有内容了，如果想挂载后继续使用这个目录现有的文件，这个时候先要对内容进行备份。然后再挂载

2021-03-01 09:30:08 218

q_xiami123的博客