count.sh

最新推荐文章于 2022-09-20 18:18:35 发布

天然呆的技术博客

最新推荐文章于 2022-09-20 18:18:35 发布

阅读量529

点赞数

分类专栏：脚本备份脚本

本文链接：https://blog.csdn.net/u013494310/article/details/24599531

版权

脚本同时被 2 个专栏收录

16 篇文章 0 订阅

订阅专栏

脚本备份

2 篇文章 0 订阅

订阅专栏

#! /bin/bash
tmpfile=`date '+%Y%m%d%H%M%S'`.txt
echo $tmpfile
for i in `find /home/hadoop/tmp/log -name localhost*`
do
  echo $i
  if [ -s $i ]
  then
     cat $i >> $tmpfile
     rm -f $i
  fi	
done

if [ -s $tmpfile ]
then
  bin/hadoop fs -put $tmpfile /input
  rm $tmpfile
  bin/hadoop fs -rmr /output
  bin/hadoop jar count.jar org.daidai.mr.WordCount /input /output
  
  bin/hadoop fs -rm /input/*
fi