Linux知识

Linux下载谷歌云盘文件

Linux下载谷歌云盘文件
代码来自：https://stackoverflow.com/a/50573452/9055194 （觉得好用可以去给作者点个赞）

新建一个wgetdrive.sh文件

#!/bin/bash

# Get files from Google Drive

# $1 = file ID
# $2 = file name

URL="https://docs.google.com/uc?export=download&id=$1"

wget --load-cookies /tmp/cookies.txt "https://docs.google.com/uc?export=download&confirm=$(wget --quiet --save-cookies /tmp/cookies.txt --keep-session-cookies --no-check-certificate $URL -O- | sed -rn 's/.*confirm=([0-9A-Za-z_]+).*/\1\n/p')&id=$1" -O $2 && rm -rf /tmp/cookies.txt

chmod 777 wgetdrive.sh

ID是文件的ID，我当时是下载ctpn的权重，下载网址是 https://drive.google.com/file/d/1HcZuB_MHqsKhKEKpfF1pEU85CYy4OlWO/view?usp=sharing 对应的ID则是1HcZuB_MHqsKhKEKpfF1pEU85CYy4OlWO

Filename是下载后的文件命名。

./wgetdrive.sh ID  Filename

torch各个版本选择

https://download.pytorch.org/whl/torch/
https://download.pytorch.org/whl/torch_stable.html

os.path.splitext

/usr/local/bin /usr/bin

conda install -y -c

gcc pytorch不兼容

pytorch、显卡、显卡驱动、cuda版本是如何对应的

Compute capability
CUDA version
Driver version
pytorch、显卡、显卡驱动、cuda版本是如何对应的
维基百科-CUDA
一目了然

将window格式文件转换为linux

sed -i ‘s/\r//g’ file1

环境搭建

conda安装与显卡对应的cudatoolkit 与 cupy

conda install -c nvidia cudatoolkit
conda install -c conda-forge cupy

conda虚拟环境中安装cuda和cudnn，再也不用头疼版本号的问题了

conda虚拟环境中安装cuda和cudnn，再也不用头疼版本号的问题了

安装好cudatoolkit和cudnn后：
conda install -c conda-forge cupy cudatoolkit=11.3
pip3 install torch1.10.1+cu113 torchvision0.11.2+cu113 torchaudio===0.10.1+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html --default-timeout=1000

心得体会：

首先，可以用conda search cudatoolkit/cudnn --info 来查找符合NVIDIA的版本并下载后，conda install xxx，结束。
conda install -c conda-forge cupy cudatoolkit=11.3  这样下载的cupy是符合cuda版本的。
pip3 install torch==1.10.1+cu113 torchvision==0.11.2+cu113 torchaudio===0.10.1+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html --default-timeout=1000
这样下载的torch是与cuda和cudnn对应的。

查看linux内存使用情况

df -h ./

文件夹操作

查看文件夹最近使用日期

ls -l --time=ctime *

改变文件夹权限

chmod -R 777 folder_path
rwxrwxrwx == 777

统计文件数目

linux查看文件夹下的文件个数(当前目录的文件数)//包含子目录

ls -l |grep "^-"|wc -l //验证了redhat好用
或
find ./company -type f | wc -l

查看某文件夹下文件的个数，包括子文件夹里的。

ls -lR|grep "^-"|wc -l

查看某文件夹下文件夹的个数，包括子文件夹里的。

ls -lR|grep "^d"|wc -l

说明：

ls -l
长列表输出该目录下文件信息(注意这里的文件，不同于一般的文件，可能是目录、链接、设备文件等)

grep "^-"
这里将长列表输出信息过滤一部分，只保留一般文件，如果只保留目录就是 ^d

wc -l
统计输出信息的行数，因为已经过滤得只剩一般文件了，所以统计结果就是一般文件信息的行数，又由于

一行信息对应一个文件，所以也就是文件的个数。

查看当前目录分区与内存使用情况（针对挂载）

df  -h ./

find 命令

find -t f | wc ls

scp与rsync

rsync

 rsync  -e "ssh -p 65010"    -avzu --progress  1.mp4   multimodel@60.245.128.10:/work1/multimodel/zhubin/AAA_youtubeshorts/

压缩

**tar -zcvf demo.tar.gz demo **–压缩
tar -zxvf demo.tar.gz–解压

tar –cvf jpg.tar *.jpg //将目录里所有jpg文件打包成tar.jpg
tar –czf jpg.tar.gz *.jpg   //将目录里所有jpg文件打包成jpg.tar后，并且将其用gzip压缩，生成一个gzip压缩过的包，命名为jpg.tar.gz
tar –cjf jpg.tar.bz2 *.jpg //将目录里所有jpg文件打包成jpg.tar后，并且将其用bzip2压缩，生成一个bzip2压缩过的包，命名为jpg.tar.bz2
tar –cZf jpg.tar.Z *.jpg   //将目录里所有jpg文件打包成jpg.tar后，并且将其用compress压缩，生成一个umcompress压缩过的包，命名为jpg.tar.Z

解压缩

tar –xvf file.tar //解压 tar包
tar -xzvf file.tar.gz //解压tar.gz
tar -xjvf file.tar.bz2   //解压 tar.bz2
tar –xZvf file.tar.Z   //解压tar.Z

解压与压缩 .tar.gz

zip对应的解压缩命令为unzip

命令格式：unzip [选项] 压缩包名

选项： -d：指定解压缩位置。示例：

unzip -d /tmp/ test.zip

将tar.gz文件解压到指定的目录中
tar -zcvf tmp.tar.gz -C /tmp#压缩

tar -zxvf tmp.tar.gz -C /tmp#解压缩
tar -zxf tmp.tar.gz -C /tmp#解压缩，不显示过程，可能会快点

在Linux系统的维护、管理中，tar命令是一个使用频率很高的命令，tar命令的功能主要是将众多文件打包成一个tar文件并压缩，并且能保持文件的权限属性。tar其实最开始是用来做磁带备份存盘的，tar是tape archive的简称。后面扩展到不仅仅局限于磁带备份存盘。也能存放到文件系统中。tar命令版本众多，下面整理了一些常用的参数，具体以实际版本为准

mv 移动报错

mv: invalid option -- '0'

解决办法：

加上一个./ 就可以

glob.glob