定时任务： 文件移动到hdfs的项目

项目实战
需求描述：
在业务系统的服务器上，业务程序会不断生成业务日志（比如网站的页面访问日志）
业务日志是用log4j生成的，会不断地切出日志文件
需要定期（比如每小时）从业务服务器上的日志目录中，探测需要采集的日志文件(access.log不能采)，发往HDFS

注意点：业务服务器可能有多台(hdfs上的文件名不能直接用日志服务器上的文件名)
当天采集到的日志要放在hdfs的当天目录中
采集完成的日志文件，需要移动到到日志服务器的一个备份目录中
定期检查（一小时检查一次）备份目录，将备份时长超出24小时的日志文件清除

Timer timer = new Timer()
timer.schedual()

1、流程
启动一个定时任务：
	——定时探测日志源目录
	——获取需要采集的文件
	——移动这些文件到一个待上传临时目录
	——遍历待上传目录中各文件，逐一传输到HDFS的目标路径，同时将传输完成的文件移动到备份目录

启动一个定时任务：
	——探测备份目录中的备份数据，检查是否已超出最长备份时长，如果超出，则删除
	
	
2、规划各种路径
accesslog.1.log
日志源路径： d:/logs/accesslog/
待上传临时目录： d:/logs/toupload/
备份目录： d:/logs/backup/日期/

HDFS存储路径： /logs/日期
HDFS中的文件的前缀：access_log_
HDFS中的文件的后缀：.log

	

一、创建两个定时器

方法一：
public class submitter {
    public static void main(String[] args) {
        Timer timer = new Timer();
        timer.schedule(new FileTask(),1000,2000);
        timer.schedule(new FileTask2(),1000,2000);
    }
}

public class FileTask2 extends TimerTask {
    @Override
    public void run() {
    String data;
        Date date = new Date();
        SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd");
        data = df.format(date);
        File file = new File("d:/logs/backup/" + data + "/");
        File[] files = file.listFiles();
        for (File file1 : files) {
            //当前的时间戳
            long t4 = System.currentTimeMillis();
            try {
                long t5 = df.parse(file1.getPath()).getTime();
                if (t4 - t5 > 24*60*60*1000L) {
                    FileUtils.deleteDirectory(file1);
                }
            } catch (ParseException e) {
                e.printStackTrace();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
    }
}

方法二：
 SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
        File file = new File("D:\\logs\\backup\\2018-06-30");
        File[] files = file.listFiles();
        for (File file1 : files) {
            try {
                //获取文件创建的时间
                Calendar cal = Calendar.getInstance();
                cal.setTimeInMillis(file1.lastModified());
                Long deate = df.parse(df.format(cal.getTime())).getTime();
                //获取到当前系统的时间戳
                Long newdate = System.currentTimeMillis();
                //比较文件的时间和系统的时间是不是小于24小时
                if (newdate - deate > 24*60*60*1000L){
                    FileUtils.deleteDirectory(file1);
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
}

二、日志工作流程

import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.File;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.TimerTask;
import java.util.UUID;


public class FileTask extends TimerTask {
//定义获取时间的全局变量
    String data2;
//定义系统文件fs的全局变量
    FileSystem fs = null;
    public void run() {
        Date day=new Date();
        SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd");
        data2 = df.format(day);
        //创建log文件夹的路径
        File file = new File("D:\\logs\\accesslog");
        //获取需要采集的文件
        File[] file1 = file.listFiles();
        //创建一个待上传文件夹的路径
        File file2 = new File("D:\\logs\\toupload");
        //判断是否存在
        if (!file2.exists()){
            file2.mkdir();
        }
        //遍历待上传目录中各文件，逐一传输到HDFS的目标路径
        for (File file3 : file1) {
            try {
                FileUtils.moveToDirectory(file3,file2,true);
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        try {
            //初始化fs对象
            fs = FileSystem.get(new URI("hdfs://192.168.33.101:9000/"),new Configuration() , "root");
            //拼接Path路径
            Path path = new Path("/logs/"+data2);
            //判断hdfs的文件夹是否存在
            if(!fs.exists(path)){
                fs.mkdirs(path);
            }
            //创建本地备份文件路径
            File fileWE = new File("d:/logs/backup/" + data2 + "/");
            if (!file.exists()){
                file.mkdir();
            }
            //获取备份文件
           File[] file3 = file2.listFiles();
            //遍历逐一输出文件到本地路径
            for (File file4 : file3) {
                Path path1 = new Path(path+"access_log_"+UUID.randomUUID()+".log");
            //路径下的前缀"access_log_"，后缀".log"的文件
                fs.copyFromLocalFile(new Path(file4.getAbsolutePath()),path1);
            //将传输完成的文件移动到备份目录
                FileUtils.moveToDirectory(file4,fileWE,true);
            }
        } catch (IOException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        } catch (URISyntaxException e) {
            e.printStackTrace();
        }
    }
}