Shell笔记

较全的资料

shell命令详细解析

定时脚本任务

参考：crontab命令详解

主要用到： crontab -e 命令
-e：编辑某个用户的crontab文件内容。如果不指定用户，则表示编辑当前用户的crontab文件。

在每个整点的第五分钟执行，如下

# submit hadoop static job per hour 
5 * * * * sh /dir/vitamin/code/datapreprocessing/task8/submit_hour.sh

Shell 循环、时间、变量、大小等

参考：Shell 基本运算符

export JAVA_HOME=/data6/dir/client_pkg/jdk1.7.0_51
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_PREFIX=/data6/dir/client_pkg/hadoop-2.5.1
export HADOOP_CLASSPATH="./:$JAVA_HOME/lib:$JRE_HOME/lib:/usr/share/java:$HADOOP_PREFIX/lib/native"
export PATH="$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/tool"


feature_id=6449972
local_ip=$(LANG=C /sbin/ifconfig eth1 | grep "inet addr" | awk '{print $2}' | awk -F: '{print $2}')
local_dir=/XXX/vitamin/code/datapreprocessing/task8

day=`date +%Y%m%d -d "${1}"`
datetime=`date "+%Y%m%d %H:00:00" -d "${1}"`
cur_time=${datetime}
end_date=`date "+%Y%m%d" -d "${1} 4 days ago"`
proj_name="dir"
model_name="recommend_recall_reason_static_ctr_hour"
pre_dir=/user/dir/thinkerguo/proj/dir
cur_date=`date +%Y%m%d -d "${1}"`
cd $local_dir

while [ $cur_date -ge $end_date ]
do
    day_str=`date +%Y_%m_%d -d "${cur_date}"`
    cf0=`date +%Y%m%d_%H -d "${datetime} 1 hour ago"`
    cf1=`date +%Y%m%d_%H -d "${datetime}"`
    cf2=`date +%Y%m%d_%H -d "${datetime} 1 hour"`
    cf3=`date +%Y%m%d_%H -d "${datetime} 2 hours"`
    showlog=${pre_dir}/showlog5min/${cur_date}
    omgslog=/user/dir/dir/dir/showlog/${day_str}
    clicklog=/user/dir/dir/dir/clicklog
    out=${pre_dir}/static/reason_hour/${model_name}_${cf1}
    sf=kb_slog_${cf0}
    $HADOOP_PREFIX/tool/submit_v_sh -b dir -u user  -s ./ -f ./log/${day_str}.log -c "${day} ${clicklog} ${showlog} ${omgslog} ${out} ${sf} ${cf0} ${cf1} ${cf2} ${cf3}" > ./log.txt 2>&1
    datetime=`date "+%Y%m%d %H:00:00" -d "${datetime} 1 hour ago"`
    cur_date=`date +%Y%m%d -d "${datetime}"`
done

shell文本处理命令:

shell命令大全
linux学习：xargs与grep用法整理

1.grep:命令用法：

1.1在一个目录下所有文档或指定文档查找 指定字符串

grep object_str dir
grep object_str filename
grep object_str filenameprex*

1.2匹配模式：

在下面的文本中匹配指定的模式的文本

文本：part-xx
868551028676362 10OUORJ6F2000J1S0   WB  0_100.65.9.87
868551028676362 c   10OUORJ6F2000J1S0
868551028676362 o   10OUORJ6F2000J1S0   532926471392944776
shell命令：以下两个命令分别匹配第2行和第3行
grep -P '\tc\t' part-* >click.res
grep -P "\to\t" part-* >show.o.res

2.结合xargs 进行高级的文本任务：

2.1为什么要用xargs：

xargs的原理剖析及用法详解
管道实现的是将前面的stdout作为后面的stdin，但是有些命令不接受管道的传递方式，最常见的就是ls命令。有些时候命令希望管道传递的是参数，但是直接用管道有时无法传递到命令的参数位，这时候需要xargs，xargs实现的是将管道传输过来的stdin进行处理然后传递到命令的参数位上。也就是说xargs完成了两个行为：处理管道传输过来的stdin；将处理后的传递到正确的位置上。

2.2实例xargs -i：

xargs -i选项在逻辑上用于接收传递的分批结果。
如果不使用-i，则默认是将分割后处理后的结果整体传递到命令的最尾部。但是有时候需要传递到多个位置，不使用-i就不知道传递到哪个位置了。使用xargs -i时以大括号{}作为替换符号，传递的时候看到{}就将被结果替换。可以将{}放在任意需要传递的参数位上，如果多个地方使用{}就实现了多个传递。

2.2.1例子：

下例实现把click.res.pure中的记录的每一行发到后面，取代{}，并把grep的结果发送到vitmain文件中(没有就创建，有就直接加在后面)

cat click.res.pure | xargs -i grep {} show.res.pure > vitamin

2.2.2把过滤的结果计数后输出并显示wc命令

wc命令详解
Linux wc命令用于计算字数。
利用wc指令我们可以计算文件的Byte数、字数、或是列数，若不指定文件名称、或是所给予的文件名为”-“，则wc指令会从标准输入设备读取数据。
参数：
-c或–bytes或–chars 只显示Bytes数。
-l或–lines 只显示列数。
-w或–words 只显示字数。
–help 在线帮助。
–version 显示版本信息。
语法

wc [-clw][--help][--version][文件...]
cat click.res.pure | xargs -i grep {} show.res.pure | wc -l

3.awk命令：

AWK文本分析命令

# 每行按空格或TAB分割，输出文本中的1、4项
 $ awk '{print $1,$4}' log.txt
 ---------------------------------------------
 2 a
 3 like
 This's
 10 orange,apple,mongo
 # 格式化输出
 $ awk '{printf "%-8s %-10s\n",$1,$4}' log.txt
 ---------------------------------------------
 2        a
 3        like
 This's
 10       orange,apple,mongo

#把这样的文本：
click.res:part-m-00120:865086034785009  c   10OUQ73EF1000IZE0‘’
处理得到
865086034785009,10OUQ73EF1000IZE0
awk -F "\t" 'BEGIN{OFS=","}{print $1,$3}' click.res | awk -F ":" '{print $2}'

4.批量替换多个文件中的字符串

find -name '要查找的文件名' | xargs perl -pi -e 's|被替换的字符串|替换后的字符串|g'
利用正则表达式批量替换当前目录下的json文件中的字符串
find -name '*.json' | xargs perl -pi -e 's|/mnt/sda4/CODING/python/kaggle_data|/home/bigdata/disk/data/seizure-prediction/kaggle_data|g'

重定向

参考链接
在 shell 程式中，最常使用的 FD (file descriptor) 大概有三个, 分别是:
0: Standard Input (STDIN)
1: Standard Output (STDOUT)
2: Standard Error Output (STDERR)

在标准情况下, 这些FD分别跟如下设备关联:
stdin(0): keyboard 键盘输入,并返回在前端
stdout(1): monitor 正确返回值 输出到前端
stderr(2): monitor 错误返回值 输出到前端

目录下只有a.txt
#执行后,没有任何返回值. 原因是, 返回值都重定向到相应的文件中了,而不再前端显示 
ls a.txt b.txt  1>file.out 2>file.err 
#一般来说, "1>" 通常可以省略成 ">". 
#"1>&2"正确返回值传递给2输出通道 &2表示2输出通道
ls a.txt b.txt 1>file.out 2>&1
正确和错误的结果 都输出到file.out文件中。
一般应用于需要保持日志：
python命令
python run.py >log.txt &

shell命令
./run.sh >out.txt 2>&1 &

nohup命令详解

参考链接