mapreduce日志信息数据处理

mapreduce日志信息数据处理

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Locale;

public class WebLog {
    //Mapper类
    public class WebLog_Mapper extends Mapper<LongWritable, Text,Text, NullWritable>{
        Text k = new Text();
        //实现map方法
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            //读取文件中的数据
            String line = value.toString();
            //这里是获得了一行数据，但是需要把数据转换成我们想要的格式
            //为了方便，我们这里通过一个方法进行转换
            WebLogBean info = WebLog_parse(line);
            //判断,如果不满足条件直接返回
            if (StringUtils.isNotEmpty(info.toString()) || !info.isVolid()) return;
            k.set(info.toString());
            context.write(k,NullWritable.get());
        }
    }

    //转换类，把原始的日志数据转换成我们想要的格式
    public static WebLogBean WebLog_parse(String log){
        WebLogBean webLogBean = new WebLogBean();
        //对获取的一行数据进行切割
        String[] words = log.split(" ");
        //进行判断日志数据是否合法
        if (words.length == 10){
            //虽然可以获得我们想要的数据，但是在获取数据之前我们需要对时间日期进行转换
            String date = (words[3]+""+words[4].replace("[","").replace("]",""));
            //此时已经截取到我们想要的时间格式
            //此时说明数据是合法，对原始日志数据获取到我们想要的数据内容,但是我们需要对日期格式进行转换
            date = WebLog.parseDate(date);
            webLogBean.set(words[0],words[1],date,words[6],words[8],words[9]);
        }
        //在解析完之后，我们需要对请求的状态码进行判断
        if (webLogBean.getStatus().charAt(0) == '4' || webLogBean.getStatus().charAt(0) == '5'){
            webLogBean.setVolid(false);
        }else {
            webLogBean.setVolid(true);
        }
        return webLogBean;
    }
    //对日期格式进行转化
    public static String parseDate(String date){
        //在日期进行转化时，我们需要注意的是在英文中月是用MMM表示的，而中文使用MM表示的，日志一般都是英文的
        //而Locale是表示地区的，在这里是US
        SimpleDateFormat fmt = new SimpleDateFormat("dd/MMM/yyyy:HH:mm:ss", Locale.US);
        try {
            Date parse = fmt.parse(date);
            //对原始的时间解析之后，我们需要再次进行解析，转换成可视化的时间
            fmt = new SimpleDateFormat("yyyy-MM-dd",Locale.CANADA);
            //这次对我们已经解析完的时间进行二次解析
            String format = fmt.format(parse);
            return format;
        } catch (ParseException e) {
            e.printStackTrace();
            return null;
        }

    }

    //由于有多个属性，我们把这些属性进行封装
    //定义一个javaBean，用来对日志文件中的一行数据封装
    //这里面我们不需要实现序列化，因为我们没有使用输入和输出
    public static class WebLogBean {
        private String remote_ip;//记录客户端的ip地址
        private String remote_user;//记录客户端的用户名称 ， 忽略使用—
        private String time_zone;//访问时间与时区
        private String request_url;//请求url
        private String status;//请求的状态码
        private String http_body_sent;//请求体的大小
        //判断数据是否合法
        private boolean volid = true;

        public void set(String remote_ip, String remote_user, String time_zone, String request_url, String status, String http_body_sent) {
            this.remote_ip = remote_ip;
            this.remote_user = remote_user;
            this.time_zone = time_zone;
            this.request_url = request_url;
            this.status = status;
            this.http_body_sent = http_body_sent;
        }

        @Override
        public String toString() {
            return remote_ip + ' ' +
                    " " + remote_user + ' ' +
                    " " + time_zone + ' ' +
                    " " + request_url + ' ' +
                    " " + status + ' ' +
                    " " + http_body_sent;

        }

        //get、set的方法
        public String getRemote_ip() {
            return remote_ip;
        }

        public void setRemote_ip(String remote_ip) {
            this.remote_ip = remote_ip;
        }

        public String getRemote_user() {
            return remote_user;
        }

        public void setRemote_user(String remote_user) {
            this.remote_user = remote_user;
        }

        public String getTime_zone() {
            return time_zone;
        }

        public void setTime_zone(String time_zone) {
            this.time_zone = time_zone;
        }

        public String getRequest_url() {
            return request_url;
        }

        public void setRequest_url(String request_url) {
            this.request_url = request_url;
        }

        public String getStatus() {
            return status;
        }

        public void setStatus(String status) {
            this.status = status;
        }

        public String getHttp_body_sent() {
            return http_body_sent;
        }

        public void setHttp_body_sent(String http_body_sent) {
            this.http_body_sent = http_body_sent;
        }

        public boolean isVolid() {
            return volid;
        }

        public void setVolid(boolean volid) {
            this.volid = volid;
        }
    }
    //测试类

    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
            Configuration con = new Configuration();
            con.set("mapreduce.framework.name", "yarn");
            con.set("yarn.resourcemanager.hostname", "hadoop");
            Job job = Job.getInstance(con);
            job.setMapperClass(WebLog_Mapper.class);
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(NullWritable.class);

            FileInputFormat.setInputPaths(job, new Path(args[0]));
            FileOutputFormat.setOutputPath(job, new Path(args[1]));

            job.setJarByClass(WebLog.class);
            boolean b = job.waitForCompletion(true);
            System.out.println(b ? "submit ok" : "submit error");

    }
}