Linux 常用命令

我的常用命令：

后台命令=: nohup python crontab_jop.py &> ./print.log &
文本命令=: wc -l file.txt   # 输出文件行数 
文本命令=: du -sk train.txt  # 查看文件大小 
文本命令=: head -100 a.txt >test.txt  # 文件的前面100行 
文本命令=: tail -100 a.txt >test.txt  # 文件的后面100行 
tar 命令=: tar -czvf 名字.tar.gz frag/*  # 压缩命令
tar 命令=: tar -zxvf 名字.tar.gz  # 解压命令
tar 命令=: tar zcf - tmp/* |split -d -b 3800m - tmp.tar.gz.  # 每个卷3800M
# zip ------------------------------
# 解压分卷压缩包，img.zip.001, img.zip.002, img.zip.003...
zip命令=: cat img.zip.* > img.zip  # 先合并，在解压
zip命令=: unzip img.zip  # 解压

下载命令=: wget -c https://baidu.com.jpg -O 01.jpg  # 下载并重命名
下载命令=: wget -c https://baidu.com.jpg -O 01.jpg -o wget.log  # 下载并重命名，并写log

查看进程=: ps -ef | grep al.sh
生成MD5码=: md5sum /root/path/* > /root/path.status
文件内容去重=: sort -u test.txt > out.txt

查看文件大小=: du -h --max-depth=1 ./  参考：https://www.python100.com/html/61595.html

date 日期命令：

now_time=$(date "+%Y-%m-%d %H:%M:%S")  # 命令，当前时间
DAY2=$(date -d "-2 days" +"%Y-%m-%d")  # 两天前的日期
DAY1=$(date -d "1 day ago" +"%Y-%m-%d")  # 1天前的日期
DAY1=$(date +%Y-%m-%d -d "yesterday")  # 昨天
DAY1=$(date -d "-1 day 2023-08-04" +%Y-%m-%d)  # 在某一天的前一天
DAY1=$(date -d "+1 day 2023-08-04" +%Y-%m-%d)  # 在某一天的后一天
hour3_age=$(date -d "3 hour ago" +"%Y-%m-%d %H")  # 获取当前时间的前三个小时的时间
day=${hour3_age:0:10}  # 截取一个 day 时间
hour=${hour3_age:11:13}  # 截取一个 hour 时间

nvidia-smi 命令：

nvidia-smi  # 命令， 可以显示NVIDIA显卡基本信息和相关进程占用显存情况
watch -n 5 nvidia-smi  # 每隔5秒更新一次
nvidia-smi -L  # 命令， 可以列出所有NVIDIA显卡相关型号信息

scp命令使用：

• 1、本地上传服务器：
  – 1、上传整个目录（文件夹）：

#  上传本地的test文件夹
scp -r /home/admin/test/ root@192.168.1.1:/root/

– 2、上传单个文件：

# 上传本地test.txt 文件
scp /home/test/test.txt root@192.168.1.1:/root/

说明：其实上传文件和文件夹区别就在参数 -r， 和 cp，rm 的使用类似， 文件夹多了个 -r

• 2、远程服务器下载文件：
  – 1、下载整个目录：

# 下载服务器上面的root文件夹
scp -r root@192.168.1.1:/root/ /home/admin/Desktop/new/

其他常用命令：

du -h --max-depth=1 文件夹/  查看一个文件夹 大小

HDFS 常用命令：

创建文件    hdfs fs -mkdir output/*
删除文件    hdfs fs -rm output/*
删除文件夹   hdfs fs -rm -r output
查看文件    hdfs fs -ls output
抓取内容    hdfs fs -cat /user/output/part-r-00000
上传数据    hdfs fs -put out.txt input/
下载数据    hdfs fs -get /user/output local/output
移动数据    hdfs fs -mv hdfs_path1 hdfs_path2
避开回收机制直接删除   hadoop fs -rm -skipTrash /user/output/part-r-00000
避开回收机制直接删除(文件)   hadoop fs -rm -r -f -skipTrash /file_path
查看文件大小   hadoop fs -du -s -h /file_path  (删除 -h, 则按 Byte 显示)
修改目录权限 hadoop fs -chmod -R 777 hdfs_path/

集群迁移-数据迁移 hadoop distcp src/path1/ src_new/ 

查看HDFS文件第一列去重行数 hadoop fs -cat hdfs://ns1000hh/user/detailed/20230406/* | sort -t $'\t' -k1,1 -u | wc -l
获取HDFS最新路径(日期结尾) image_path=$(hadoop fs -ls hdfs://root/user/feature/ |awk '{print $8}'|tail -n 1)
添加一个文件  hadoop fs -touchz hdfs://ns2023/user/jd_ad/_SUCCESS

HDFS 常用命令：

hive -e "sql语句"  > data.txt 直接运行SQL，并把结果放到data.txt
hive -f  demo.sql > data.txt 把SQL放到demo.sql文件中，并把结果放到data.txt