常用linux指令集

置顶知行SUN

已于 2022-11-20 11:19:00 修改

阅读量2.3k

点赞数 1

分类专栏：科研深度学习环境搭建文章标签： Linux

于 2019-06-23 15:39:04 首次发布

本文链接：https://blog.csdn.net/excellent_sun/article/details/93382677

版权

深度学习环境搭建同时被 2 个专栏收录

8 篇文章 0 订阅

订阅专栏

科研

7 篇文章 0 订阅

订阅专栏

常用Linux指令集

1、查看整个文件夹所有文件的大小

du -sh ./kitti

这是kitti文件夹下的所有文件
在这里插入图片描述
2、列出文件夹中所有文件及文件夹的大小

du -h --max-depth=1 ./kitti

在这里插入图片描述
3、scp

scp -r /root/lk root@43.224.34.73:/home/lk/cpfile

4、openssh-server

 sudo apt install openssh-server

5、ifconfig

ifconfig

6、查看当前文件夹有多少文件？

ls |wc -w

7、vim的简单使用

i 插入
esc 退出插入状态
：wq 退出并保存

8、查看GPU实时运行状态

watch -n 10 nvidia-smi

9、同步服务器的文件到当前文件夹

rsync -r 10.16.54.82::data_share/pano-surface ./

sudo rsync -r sun@10.33.193.3:/home/sun/PycharmProjects/s3util ./Projects/seg-2d
# 将本地文件同步到远程服务器
sudo rsync -r /home/sunxiaofei007/pytorch_tar sun@10.33.193.3:/data/env_packages/

sudo rsync -r ./08-16_12-20/* sun@ip:/home/sun/PycharmProjects/2D_segmentation/pytorch_segmentation-master/best_model

sudo rsync -r /home/sxf/Projects/seg_2d/pytorch_segmentation-master/saved/PSPNet/08-16_12-20/* sun@IP:/home/sun/PycharmProjects/2D_segmentation/pytorch_segmentation-master/best_model

10、copy命令

cp ./data_odometry_velodyne.zip /data/SemanticKITTI

11、删除文件

-r表示强制删除，-f表示不提示

强制删除文件夹并提示

sudo rm -r 文件夹名

强制删除文件夹不提示（最暴力）

sudo rm -rf 文件夹名

12、解压文件

解压data_odometry_velodyne.zip到当前文件夹。

unzip data_odometry_velodyne.zip

13、修改文件夹权限

chmod 777 ./infer_data

14、docker基础命令

sudo docker ps -a
sudo docker logs 9b948682b0d7
sudo docker attach 9b948682b0d7
# Ctrl + P + Q 挂起
sudo docker run -v `pwd`:/project --gpus all --rm -it 2a0da6e9546a bash
sudo docker run -v /dev/shm:/dev/shm -v $(pwd):/project --gpus all --rm -it 2a0da6e9546a bash
sudo docker run -v $(pwd):/project --gpus all --rm -it 2a0da6e9546a bash
sudo docker stop 3365ad45903e
sudo docker rm -v 3365ad45903e

sudo docker start 01a6ebf3cb28  #重启容器
sudo docker exec -it 6ff839bba24b /bin/bash #启动指定容器

列出所有处于停止状态的容器列表
docker ps -a -f status=exited
删除所有处于停止状态的容器
docker rm $(docker ps -a -f status=exited -q)

文件总数
ls -l|grep "^-"| wc -l（不包含子目录）
ls -lR|grep "^-"| wc -l（包含子目录）
目录总数
ls -l|grep "^d"| wc -l

16、查看并杀死相关进程

ps -aux | grep python(过滤带python的程序)# 查看所有进程的命令。
kill -9 PID
ps -ef|grep json_to_label.py|grep -v grep|cut -c 9-15|xargs kill -9
查看所有进程号
ps -ef

17、xshell 挂起进程（远程连接中断，程序仍然继续）

nohup python json_to_mask.py &

18、实时查看日志

tail -f mylog.out

19、nodejs安装

sudo apt-get install nodejs-legacy

20、统计当前目录下文件数量

ls | wc -l

21、

sudo docker start 01a6ebf3cb28

22、设置PYTHONPATH

export PYTHONPATH=$PYTHONPATH:/sun/redis_runner
export PYTHONPATH=$PYTHONPATH:/sun/s3util-master

23、相互清除两台机器之前的信任关系
在这里插入图片描述

sudo ssh-keygen -R IP服务器
sudo ssh-keygen -R IP本地

24、git密钥生成
git教程
 git密钥生成
25、打包和解包文件

.tar 文件
# 仅打包，并非压缩
tar -xvf FileName.tar           # 解包
tar -cvf FileName.tar DirName   # 将DirName和其下所有文件（夹）打包

26、opencv安装

pip install opencv-contrib-python==3.4.2.17 -i https://pypi.tuna.tsinghua.edu.cn/simple

27、进程后台运行

nohup python json_to_mask_cloud5_21.py >> ./pano-surface-5.out21 2>&1 &
nohup python json_to_mask_cloud5.py -s 1000 -d 1000 >> ./pano-surface-5.out2 2>&1 &

28、meshlab安装

sudo snap install meshlab

29、docker images安装

sudo docker pull tensorflow/tensorflow:1.11.0-gpu
sudo docker pull tensorflow/tensorflow:1.11.0-gpu-py3

30、系统设置显卡数量
CUDA_VISIBLE_DEVICES=1
31、Minio 常用命令
mc cp minio/sunxiaofei007/tarlib/lib.tgz
32、传数据

python -m http.server 8888
http://0.0.0.0:8000/
wget -rnp

33 Hydra安装

稳定版：
pip install hydra-core --upgrade

34、GIT LFS 安装及使用

安装方法：
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git lfs install

使用方法：
    cd进入开发的代码仓库
    git lfs track "*.zip" （如果是其他格式的大文件请使用对应的后缀，git将会追踪该类型文件进行lfs操作）
        该操作会在当前目录自动生成一个.gitattributes文件
    git add .
        如果单独add文件，请注意把.gitattributes也add上去
    git commit -m 'xxxx'
    git push

35、sudo 和 root 用户下的操作不一样

sudo docker load < sxf_pytorch_image.tar
和
sudo su
docker load < sxf_pytorch_image.tar
不一样

36、git下来的包的安装，进入包内执行：
pip install -e .
37、docker容器sudo问题

bash: sudo: command not found

解决办法 

apt-get update
apt-get install sudo
apt-get install vim

38、ImportError: libGL.so.1: cannot open shared object file: No such file or directory

sudo apt update
sudo apt install libgl1-mesa-glx

39、删除当前目录下包含某个字段的文件

find . -type f -name "*labelIds.png" -delete

40、使用国内镜像源

pip install torch==1.7.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

41、No CMAKE_CXX_COMPILER could be found.

sudo apt-get install build-essential

42、openMVS

./bin/ReconstructMesh -w /data/VScodeProjects/openMVS_sample-master -i test_dense.mvs -o test_mesh.mvs

43、Linux 批量文件改名

find ./*  -type f -print0 | xargs -r0 grep -srnI "1.1.1.1"

for name in `ls *.html`;do echo $name ${name%.html}.jpg;done

44、指定目录创建虚拟环境

conda create -p /mnt/beegfs/ssd_pool/docker/user/hadoop-automl/sunxiaofei/env/anaconda3/envs/beit_job python=3.7.0

45、在~/.vimrc文件中添加： set backspace=2
46、github.com[0: 你的IP]: errno=Operation timed out
原因：
需要用https才能读到数据
解决方法：输入命令
git config --global url.“https://”.insteadOf git://

47、sudo chown -R qianxun:qianxun /dataset