查找每个小时生成的目录

vi dir-listening.sh

#!/bin/bash

# command
date="/bin/date"
ha="/usr/bin/hadoop fs -ls -d"
# var
y=`$date +%Y`
m=`$date +%D | cut -d"/" -f1`
d=`$date +%d`
h=`$date +%H`
dir="/cstreaming/DAT/${y}${m}${d}${h}*"

$ha $dir | grep -v -i found | awk '{print $6,$7,$8}'


./dir-listening.sh

2014-08-27 17:02 /cstreaming/DAT/2014082717_2014082716
2014-08-27 17:07 /cstreaming/DAT/2014082717_2014082717


vi dir-listening.sh

#!/bin/bash
#
inum=0

while ((inum<6))
do
    let inum++
    # command
    date="/bin/date"
    ha="/usr/bin/hadoop fs -ls -d"
    # var
    y=`$date +%Y`
    m=`$date +%D | cut -d"/" -f1`
    d=`$date +%d`
    h=`$date +%H`
    dir="/cstreaming/DAT/${y}${m}${d}${h}*"

    $ha $dir | grep -v -i found | awk '{print $6,$7,$8}' > .tmp.txt

    #cat .tmp.txt
    res=`cat .tmp.txt|wc -l`
    if (($res>0));then
        printf "%s\t" `date | awk '{print $4}'`
        printf "Ok.There are some directories found.\n"
    else
        printf "Error.Directories was't found.\n"
    fi
done


./dir-listening.sh

$ ./dir-listening.sh
10:05:41        Ok.There are some directories found.
10:05:43        Ok.There are some directories found.
10:05:45        Ok.There are some directories found.
10:05:48        Ok.There are some directories found.
10:05:50        Ok.There are some directories found.
10:05:53        Ok.There are some directories found.
$



查找生成的文件*.DAT

vi csv-listening.sh

#!/bin/bash

# com
dd="/bin/date"
pp="/usr/bin/printf"
hh="/usr/bin/hadoop fs -ls"

# var
inum=0
YY=`$dd +%Y`
MM=`$dd +%D | cut -d/ -f1`
DD=`$dd +%d`
h=`$dd +%H`
m=`$dd +%M`
s=`$dd +%S`
string1="/csv/*/*=${YY}${MM}${DD}*/*.DAT"
string2="/csv/*/*=${YY}${MM}${DD}${h}/*.DAT"


#until ((inum>2))
until ((inum>2000000000000))
do
    let inum++

    $pp "%-6s" $inum
    $pp "  %-5s" ${DD}
    printf "  $string1 "
    $pp " : "
    $hh $string1 2>/dev/null | grep -v -i found | wc -l

    printf "        %-s%-s" ${DD},${h}
    printf "  $string2"
    printf " : "
    $hh $string2 2>/dev/null | grep -v -i found | wc -l

done


./csv-listening.sh

1       28     /csv/*/*=20140828*/*.DAT  : 1801
        28,11  /csv/*/*=2014082811/*.DAT : 0
2       28     /csv/*/*=20140828*/*.DAT  : 1801
        28,11  /csv/*/*=2014082811/*.DAT : 0
3       28     /csv/*/*=20140828*/*.DAT  : 1801
        28,11  /csv/*/*=2014082811/*.DAT : 0
4       28     /csv/*/*=20140828*/*.DAT  : 1801
        28,11  /csv/*/*=2014082811/*.DAT : 0
......

10      28     /csv/*/*=20140828*/*.DAT  : 1185
        28,11  /csv/*/*=2014082811/*.DAT : 0
11      28     /csv/*/*=20140828*/*.DAT  : 1117
        28,11  /csv/*/*=2014082811/*.DAT : 0
12      28     /csv/*/*=20140828*/*.DAT  : 960
        28,11  /csv/*/*=2014082811/*.DAT : 0
13      28     /csv/*/*=20140828*/*.DAT  : 782
        28,11  /csv/*/*=2014082811/*.DAT : 0
14      28     /csv/*/*=20140828*/*.DAT  : 701
        28,11  /csv/*/*=2014082811/*.DAT : 0
15      28     /csv/*/*=20140828*/*.DAT  : 666
        28,11  /csv/*/*=2014082811/*.DAT : 0
16      28     /csv/*/*=20140828*/*.DAT  : 585
        28,11  /csv/*/*=2014082811/*.DAT : 0
17      28     /csv/*/*=20140828*/*.DAT  : 408
        28,11  /csv/*/*=2014082811/*.DAT : 0
18      28     /csv/*/*=20140828*/*.DAT  : 290
        28,11  /csv/*/*=2014082811/*.DAT : 0
......


vi csv-crontab-listening.sh

#!/bin/bash

# com
dd="/bin/date"
pp="/usr/bin/printf"
hh="/usr/bin/hadoop fs -ls"

# var
inum=0
YY=`$dd +%Y`
MM=`$dd +%D | cut -d/ -f1`
DD=`$dd +%d`
h=`$dd +%H`
m=`$dd +%M`
s=`$dd +%S`
string1="/csv/*/*=${YY}${MM}${DD}*/*.DAT"
string2="/csv/*/*=${YY}${MM}${DD}${h}/*.DAT"


#until ((inum>2))
until ((inum>2))
do
    let inum++

    $pp "%-6s" $inum
    $pp "%4s:%-4s " $h $m
    $pp "  %-5s" ${DD}
    printf "  $string1 "
    $pp " : "
    $hh $string1 2>/dev/null | grep -v -i found | wc -l

    $pp "%-6s" " "
    $pp "%4s:%-4s " $h $m
    printf "  %-s%-s" ${DD},${h}
    printf "  $string2"
    printf " : "
    $hh $string2 2>/dev/null | grep -v -i found | wc -l

done


$ csvcap.sh

1       15:15     28     /csv/*/*=20140828*/*.DAT  : 1796
        15:15     28,15  /csv/*/*=2014082815/*.DAT : 0
2       15:15     28     /csv/*/*=20140828*/*.DAT  : 1796
        15:15     28,15  /csv/*/*=2014082815/*.DAT : 0
3       15:15     28     /csv/*/*=20140828*/*.DAT  : 1796
        15:15     28,15  /csv/*/*=2014082815/*.DAT : 0
1       15:20     28     /csv/*/*=20140828*/*.DAT  : 711
        15:20     28,15  /csv/*/*=2014082815/*.DAT : 0
2       15:20     28     /csv/*/*=20140828*/*.DAT  : 466
        15:20     28,15  /csv/*/*=2014082815/*.DAT : 0
3       15:20     28     /csv/*/*=20140828*/*.DAT  : 279
        15:20     28,15  /csv/*/*=2014082815/*.DAT : 0
1       15:25     28     /csv/*/*=20140828*/*.DAT  : 0
        15:25     28,15  /csv/*/*=2014082815/*.DAT : 0
2       15:25     28     /csv/*/*=20140828*/*.DAT  : 0
        15:25     28,15  /csv/*/*=2014082815/*.DAT : 0
3       15:25     28     /csv/*/*=20140828*/*.DAT  : 0
        15:25     28,15  /csv/*/*=2014082815/*.DAT : 0



wKioL1cGeR-CoFanAABm6P93Pb8672.jpg