shell脚本

循环拷贝文件

tmp.sh 文件

for line in $(cat data)
do
   hope dfs -mv "/user/hadoop/tfrecord"$line "/hadoop/waimai"$line
done

生成循环的时间

import datetime

begin = datetime.date(2020, 12, 19)
end = datetime.date(2021, 1, 21)

d = begin
delta = datetime.timedelta(days=1)
while d <= end:
    print(d.strftime("%Y%m%d"))
    d += delta
    f = open("shijian_sql.txt", 'a')
    f.write(d.strftime("%Y%m%d"))
    f.write('\n')
    f.close()

在跳板机上查找一个字符。

find ./ | xargs grep "lishu"

运行.sh脚本

nohup sh run_model_v2_train_skulist_baseline.sh RelativeSkuListBaseline v1 > log_relative_base 2>&1 &

nohup sh hope_run.sh > log_relative_base 2>&1 &

hdfs看文件前几行

hdfs dfs -text path | head -n3

根据关键字查看日志内容

cat sgtcs-rank-server.log|grep "店内搭配"    查看日志里有关键字的内容

cat sgtcs-rank-server.log|grep "店内搭配"  > snow_test1.    把有关键字内容的日志重定向到文本里