linux命令一些常用总结

1，ftp上传/下载shell：

#!/bin/bash

ftp -n<<!

open 10.139.0.130  --打开连接ftp IP

user odsftp AhvRab5!  --用户名和密码

prompt off  --关闭密码询问

Binary --开启二进制

cd /app/odsftp/credit/znn  --文件所在目录

mget credit_cheat_ods_201806.tar.gz.a*  --下载所需文件

Close --关闭连接

Bye --推出ftp

 

2，Hadoop job控制：

joblist=($(jobs -p))

   while (( ${#joblist[*]} >= 3 ))

   do

        sleep 1

        joblist=($(jobs -p))

   done

3，分割文件并压缩

tar -zcf - predit_201806.csv | split -b 2048m - predit_201806.tar.gz.

 

4，hadoop 队列查询

hadoop queue -list --队列资源信息

hadoop queue -info credit_ct --某一指定队列资源信息

hadoop queue -showacls --当前用户能访问的 队列信息

5，查看文件是否串行（hive到处数据时如果没有处理，经常结果会有串行现象）

awk '{print NF}' credit_cheat_1.csv|sort -u

 

6，查询mysql任务

mysql>show full processlist \G

7，批量杀死进程

ps -ef | grep purchase_crm_change_sample.py| awk '{print $2}' | xargs kill -9

8，shell文本替换

sed -i 's/1/2/g' temp_credit_1du.sh.bak

多文本替换

Cat fixup.set

s/foo/bar/g

s/chicken/cow/g

s/draft animal/hourse/g

………

运行脚本 sed -f fixup.set myfile.xmll> myfile2.xml

9,删除空格

Tr -d '\r' < dos-file.txt > new_file.txt

#批量删除空格

For f in dos-file*.txt

Do

  tr -d '\r' < $f >> big_new_file.txt

done

10，join连接多个文件

#！ /bin/sh

#filename:merge-sales.sh

#删除注释并排序数据文件

Sed '/^#/d' quotas | sort > quotas.sorted

Sed '/^#/d' sale | sort >sales.sorted

 

#以第一个键值作结合，将结果产生标准输出

Join quotas.sorted sales.sorted

 

#删除缓存文件

Rm quotas.sorted sales.sorted

 

#执行文件

./merge-sales.sh

 

 

11，代码追踪功能

Set -X --打开追踪功能

Set +X --关闭追踪功能