日志数据清洗（简单版）

最新推荐文章于 2024-08-14 16:11:07 发布

故明所以

最新推荐文章于 2024-08-14 16:11:07 发布

阅读量2.3k

点赞数

分类专栏：大数据hadoop生态组件文章标签：大数据 java

本文链接：https://blog.csdn.net/weixin_43520450/article/details/105910272

版权

1.数据情况

每行记录有5部分组成：访问者IP、访问时间、访问资源、访问状态（HTTP状态码）、本次访问流量

如：

27.19.74.143 - - [30/May/2018:17:38:20 +0800] “GET /static/image/common/faq.gif HTTP/1.1” 200 1127

2.代码实现

创建ParserLog类：

import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Locale;

/**
 * Author : WGH and wgh
 * Version : 2020/5/3 $ 1.0
 * 解析日志
 * ip
 * 时间
 * url
 * 状态码
 * 流量
 */
public class ParserLog {
   
    public static final SimpleDateFormat FORMAT  = new SimpleDateFormat("dd/MMM/yyyy:HH:mm:ss", Locale.ENGLISH);
    public static final SimpleDateFormat FORMATDATE = new SimpleDateFormat("yyyyMMddHHmmss");
    /**
     * 解析ip
     * @param line 日志中的一行数据
     * 27.19.74.143 - - [30/May/2018:17:38:20 +0800] "GET /static/image/common/faq.gif HTTP/1.1" 200 1127
     * */
    public String parserIp(String line){
   
        String[] ips = line