工作常用命令

1.日期命令：


1.
date -d "2015-01-21" +%d/%m/%Y
结果：21/01/2015


2.
sed -n 4p rsyncList 
hxsy    10.127.2.219    blhxsy  weapon.log
取文件中的第几行


3.
"${linestr//#/}" 
shell中替换掉变量中的#


4.
sed -n 1p rsyncList |awk -v dt=2015/01/21/ '{print $2"::"$3"/"$4"*"dt"*"}'
10.127.2.97::blhxsy/weapon.log*2015/01/21/*
-v dt=2015/01/21/在awk中定义变量

5.
awk
BEGIN{RS=")";FS="("}
RS是记录分隔符，默认的分隔符是\n
FS指定列分割符 

6.
insert overwrite table cy_hxsy_weapon_log partition(day=$day)
select 
SN,
GROUP_ID,
SERVER_IP,
SERVER_NAME,
WORD,
SERVER,
SCENE,
CN_GUID,
BUY_TIME,
JEWEL_TOTAL,
CN,
CHARACTER_PUT,
IP,
remark,
WEAPONID_NEW,
COUNT,
amount,
shop_id,
shop_type,
USER_level 
from (select *,row_number() over (partition by sn order by buy_time asc) num 
      from tmp_hxsy_weapon_log) t 
where t.num=1;

row_number() OVER (PARTITION BY COL1 ORDER BY COL2) 
表示根据COL1分组，在分组内部根据 COL2排序，而此函数计算的值就表示每组内部排序后的顺序编号（组内连续的唯一的)