Linux常用命令总结

env 查看环境变量

set  查看所有环境变量

$RANDOM  代表一个随机数 0～32767

PS1  设置命令行一开始的提示信息。

whereis 与locate类似

 

日期格式化及偏移

day=`date +'%Y-%m-%d %H:%M:%S' --date="-1 day"`

ls等命令生成数据后，以行为单位进行划分，Linux shell IFS 设置为换行符

清除spark过期日志的方法

export JAVA_HOME=/usr/local/services/jdk
export SCALA_HOME=/usr/local/services/scala
export ZOOKEEPER_PREFIX=/usr/local/services/zookeeper
export SPARK_HOME=/usr/local/services/spark
export HADOOP_HOME=/usr/local/services/hadoop
export HADOOP_CONF_DIR=/usr/local/services/hadoop/etc/hadoop
export CLASSPATH=.:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_PREFIX/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin

 
now_ts=`date +%s`
OLD_IFS="$IFS"
#设置换行符
IFS='
'

fileinfo=`$HADOOP_HOME/bin/hadoop fs -ls /tmp/logs/root/logs`
for info in $fileinfo
do
  t=`echo $info |awk '{print $6,$7}'`
  ts=`date -d "$t" +%s`
  echo "time is $t,$ts"
  filename=`echo $info |awk '{print $8}'`
  diff=$((now_ts-ts))
  half_day_len=$((60*60*12))
  ten_year_len=$((60*60*24*365*10))
  if [[ $diff -gt $half_day_len  ]] && [[ $diff -lt $ten_year_len ]] ;then
       echo "time is $t,$ts,$filename"
       $HADOOP_HOME/bin/hadoop fs -rm -r $filename
  fi
done

IFS=$OLD_IFS