日志分析demo

最新推荐文章于 2019-08-08 21:55:00 发布
最新推荐文章于 2019-08-08 21:55:00 发布
阅读量434 收藏
点赞数
分类专栏： java修炼之路 文章标签： 缓存 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bjydlcq/article/details/72802495
版权

日志分析

在对日志进行分析的时候，恰巧写了两个不同的demo，记录一下：

代码块

1 初始版
@Component
public class LogMonitoring {

    @Autowired
    protected UnitSettingDao unitSettingDao;

    // 缓存unitSetting table中的 pid 和 cid;
    private static HashMap<String,String[]> unitPidCidMem = new HashMap<String, String[]>();

    public static void main(String[] args) {
        long startTime =System.currentTimeMillis();
        int code = 0;
        ClassPathXmlApplicationContext context = null;
        String inputPath = "/home/work/input.log";
        try {
            Log.infoLog(">>> start to prepare env.");
            context = new ClassPathXmlApplicationContext("classpath:applicationContext.xml");
            Log.infoLog(">>> start to process log.");
            LogMonitoring logMonitoring = context.getBean(LogMonitoring.class);
            code = logMonitoring.unitStypeMonitor(inputPath);
        } catch (Exception e) {
            e.printStackTrace();
            code = 1;
        } finally {
            context.close();
        }
        double processTime = (System.currentTimeMillis()-startTime)/1000;
        Log.infoLog("Total process time is :" + processTime);
        System.exit(code);
    }

    /**
     * unitsetting监控
     */
    public int unitStypeMonitor(String inputFilePath) throws IOException{
        FileReader fr = null;
        BufferedReader br = null;
        int value = 0 ;
        String line = null;
        String unitId;
        String userId;
        String provid;
        String cityid;
        String pid = null;
        String cid = null;
        boolean flag;
        Set<Long> unitIds = new HashSet<Long>();
        try{
            fr = new FileReader(inputFilePath);
            br = new BufferedReader(fr);
            while ((line = br.readLine()) != null) {
                String[] tempStr;
                if (StringUtils.isEmpty(line) || (tempStr = line.split("\\s+")).length < 8) {
                    continue;
                }
                unitId = tempStr[8].split(":|,")[1];
                userId = tempStr[6].split(":|,")[1];
                provid = tempStr[tempStr.length-2].split(":|,")[1];
                cityid = tempStr[tempStr.length-1].split(":")[1];
                unitIds.add(Long.parseLong(unitId));
                if(unitPidCidMem.containsKey(unitId)){
                    pid = unitPidCidMem.get(unitId)[0];
                    cid = unitPidCidMem.get(unitId)[1];
                    flag = compareId(provid,cityid,pid,cid);
                }else {
                    Map<Long,UnitSetting> TbFeedInterestPoMap = unitSettingDao.getByUnitids(Long.parseLong(userId),unitIds);
                    if(TbFeedInterestPoMap.containsKey(Long.parseLong(unitId))) {
                        pid = TbFeedInterestPoMap.get(Long.parseLong(unitId)).getPid();
                        cid = TbFeedInterestPoMap.get(Long.parseLong(unitId)).getCid();
                    }else{
                       Log.infoLog("unitId id is not in databases!");
                    }
                    if((StringUtils.isEmpty(pid)) && (StringUtils.isEmpty(cid))){
                        continue;   // 不限地域
                    }
                    flag = compareId(provid,cityid,pid,cid);
                    String[] pidCid = new String[2];
                    pidCid[0] = pid;
                    pidCid[1] = cid;
                    unitPidCidMem.put(unitId,pidCid);   //将pid,Cid加入缓存;
                    try {
                        Thread.sleep(1);          //sleep 1 mills,缓解数据库压力
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    }
                }
                if(!flag){
                    Log.infoLog(userId + " error!  " + "line : "+ line);  //误报
                    value = 1;
                }
           }
        } catch (Exception e) {
            throw new RuntimeException("load file error:" + inputFilePath + ", line:" + line, e);
        } finally {
            try {
                if (br != null) {
                    br.close();
                }
                if (fr != null) {
                    fr.close();
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
        return value;
    }
    /**
     * @param provid
     * @param cityid
     * @param pid:db中用','分割的多条pid;
     * @param cid:db中用','分割的多条cid;
     * @return
     */
    public boolean compareId(String provid,String cityid,String pid,String cid){
        if(StringUtils.isEmpty(pid) || StringUtils.isEmpty(cid)){
            return false;
        }
        if(pid.equals("0") ||(cid.equals("0"))){
            return true;
        }
        List<String> pidList = Arrays.asList(pid.split(","));
        List<String> cidList = Arrays.asList(cid.split(","));
        if(pidList.contains(provid) || cidList.contains(cityid)){
           return true;
        }
        if(pid.equals("0")&&cidList.contains(cityid)){
            return true;
        }
        return false;
    }
}
2 优化版
package com.baidu.fengchao.sirius.scripts.cases;
import com.baidu.fengchao.sirius.orm.dao.UnitSettingDao;
import com.baidu.fengchao.sirius.orm.po.UnitSetting;
import com.baidu.fengchao.sirius.scripts.Log;
import org.apache.commons.lang.StringUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.support.ClassPathXmlApplicationContext;
import org.springframework.stereotype.Component;
import java.io.*;
import java.util.*;
/**
 * @author liuchaoqun01
 * @version 1.0
 */
@Component
public class LogMonitoring {

    @Autowired
    protected UnitSettingDao unitSettingDao;

    private static HashMap<Long, String[]> unitPidCidMem = new HashMap<Long, String[]>();  //缓存unitSetting table中的pid和cid;

    public static void main(String[] args) {
        long startTime = System.currentTimeMillis();
        int code;
        ClassPathXmlApplicationContext context = null;
        String inputPath = "/home/work/liuchaoqun01/feedclk.log";
        try {
            Log.infoLog(">>> start to prepare env.");
            context = new ClassPathXmlApplicationContext("classpath:applicationContext.xml");
            Log.infoLog(">>> start to process log.");
            LogMonitoring logMonitoring = context.getBean(LogMonitoring.class);
            code = logMonitoring.unitStypeMonitor(inputPath);
        } catch (Exception e) {
            e.printStackTrace();
            code = 1;
        } finally {
            context.close();
        }
        double processTime = (System.currentTimeMillis() - startTime) / (1000 * 1.0);
        Log.infoLog("Total process time is :" + processTime);
        System.exit(code);
    }

    /**
     * unitsetting监控
     */
    public int unitStypeMonitor(String inputFilePath) throws IOException {
        FileReader fr = null;
        BufferedReader br = null;
        int value = 0;
        String line = null;
        String unitId;
        String userId;
        String provid;
        String cityid;
        int num = 0;
        int lineNumber = 0;
        String pid;
        String cid;
        boolean flag;
        HashMap<String, Set<Long>> unitIdsMap = new HashMap<String, Set<Long>>();        // 需要查库的unitIdsMap；
        HashMap<Integer, String> logData = new HashMap<Integer, String>();              // 保存log<num,line>
        HashMap<Integer, String[]> infoData = new HashMap<Integer, String[]>();         // 保存log<pid,cid>
        try {
            fr = new FileReader(inputFilePath);
            br = new BufferedReader(fr);
            while ((line = br.readLine()) != null) {
                ++lineNumber;
                String[] tempStr = line.split("\\s+");
                if (StringUtils.isEmpty(line) || (tempStr.length < 10) || (tempStr.length > 18)) {  //过滤无效log和打错的log
                    continue;
                }
                unitId = tempStr[8].split(":|,")[1];
                userId = tempStr[6].split(":|,")[1];
                provid = tempStr[tempStr.length - 2].split(":|,")[1];
                cityid = tempStr[tempStr.length - 1].split(":")[1];
                //如果在内存中，直接比较；
                if (unitPidCidMem.containsKey(unitId)) {
                    pid = unitPidCidMem.get(unitId)[0];
                    cid = unitPidCidMem.get(unitId)[1];
                    flag = compareId(provid, cityid, pid, cid);
                    if (!flag) {
                        Log.infoLog(userId + " error!  " + "line : " + line);  //误报
                        value = 1;
                    }
                } else { // 累计,当到达100条时进行读库并更新内存;
                    logData.put(lineNumber, line);  // 镜像将要处理的log数据;
                    String[] infoString = new String[3];
                    infoString[0] = provid;
                    infoString[1] = cityid;
                    infoString[2] = unitId;
                    infoData.put(lineNumber, infoString);
                    if (!unitIdsMap.containsKey(userId)) {
                        Set<Long> unitIdSet = new HashSet<Long>();
                        unitIdSet.add(Long.parseLong(unitId));
                        unitIdsMap.put(userId, unitIdSet);
                    } else {
                        Set<Long> unitIdSet = unitIdsMap.get(userId);
                        unitIdSet.add(Long.parseLong(unitId));
                        unitIdsMap.put(userId, unitIdSet);
                    }
                    ++num;
                    if (num == 100) {
                        // 查库&&加入内存，数据重新初始化;
                        if(!batchProcess(unitIdsMap,logData,infoData)) {
                            value = 1;
                        }
                        num = 0;
                        unitIdsMap = new HashMap<String, Set<Long>>();
                        logData = new HashMap<Integer, String>();
                        infoData = new HashMap<Integer, String[]>();
                    } else {
                        continue;
                    }
                }
            }
        } catch (Exception e) {
            throw new RuntimeException("load file error:" + inputFilePath + ", line:" + line, e);
        } finally {
            try {
                if (br != null) {
                    br.close();
                }
                if (fr != null) {
                    fr.close();
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
        return value;
    }

    /**
     * @param provid
     * @param cityid
     * @param pid:db中用','分割的多条pid;
     * @param cid:db中用','分割的多条cid;
     * @return
     */
    public boolean compareId(String provid, String cityid, String pid, String cid) {
        if(StringUtils.isEmpty(pid) && StringUtils.isEmpty(cid)){
            return true;
        }
        if (pid.equals("0") && (cid.equals("0"))) {
            return true;
        }
        if (StringUtils.isEmpty(pid) || StringUtils.isEmpty(cid)) {
            return false;
        }
        List<String> pidList = Arrays.asList(pid.split(","));
        List<String> cidList = Arrays.asList(cid.split(","));
        if (pidList.contains(provid) || cidList.contains(cityid)) {
            return true;
        }
        if (pid.equals("0") && cidList.contains(cityid)) {
            return true;
        }
        return false;
    }

    /**
     * 1 每100条进行读库操作 2 保证传过来的数据内存中是没有的，都是需要进行查库操作的;
     *
     * @param
     */
    public boolean batchProcess(HashMap<String, Set<Long>> unitIdsMap, HashMap<Integer, String> logData,
                                HashMap<Integer, String[]> infoData) {
        boolean flag = true;   //标记位；
        boolean code;
        Long unitId;
        for (String user : unitIdsMap.keySet()) {
            Set<Long> unitIds = unitIdsMap.get(user);
            Map<Long, UnitSetting> TbFeedInterestPoMap = unitSettingDao.getByUnitids(Long.parseLong(user), unitIds);
            try {          //sleep 1 mills,缓解数据库压力
                Thread.sleep(1);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            for (Long unit : TbFeedInterestPoMap.keySet()) {
                if (!unitPidCidMem.containsKey(unit)) {
                    String[] pidCid = new String[2];
                    pidCid[0] = TbFeedInterestPoMap.get(unit).getPid();
                    pidCid[1] = TbFeedInterestPoMap.get(unit).getCid();
                    unitPidCidMem.put(unit, pidCid);
                }
            }
        }
        for (Integer lineNumber : infoData.keySet()) {
            String[] infoStr = infoData.get(lineNumber);
            unitId = Long.parseLong(infoStr[2]);
            if(unitPidCidMem.containsKey(unitId)) {
                String[] pidCid = unitPidCidMem.get(unitId);
                code = compareId(infoStr[0], infoStr[1], pidCid[0], pidCid[1]);
                if (!code) {
                    Log.infoLog( "lineNumber:"+ lineNumber + "error!" +"     :" + logData.get(lineNumber));  //误报
                    flag = false;
                }
            }else {
                Log.infoLog("There is bug in code : com.baidu.fengchao.sirius.scripts.cases.LogMonitoring");
            }
        }
        return flag;
    }
}
3 小结：

数据：145M
方法1：运行时间1.4h
方法2：运行时间30min
共同点：两种方法在比较时都增加了缓存，但是方法2是依次读取，当累计缓存命中失败100次以后，进行统一查库，并且更新缓存；而方法1是直接每次都要访问数据库，还是有一定的局限性，会出现大量数据库访问的耗时。

君子自强不息!
关注
专栏目录
日志采集分析项目Demo
竹林小屋的博客
11-17 695
一.配置linux定时运行上传日志文件脚本 配置脚本:        # 编辑命令是crontab -e # 查看命令是crontab -l 分　 时　 日　 月　 周　 命令 第1列表示分钟1～59 每分钟用*或者 */1表示 第2列表示小时1～23（0表示0点） 第3列表示日期1～31 第4列表示月份1～12 第5列标识号星期0～6（0表示星期天） 第6列要运行的命令 1
系统日志分析demo
08-27
最近完成了一个日志分析项目，执行效率也还行。顺手抽取了思路写了一个demo，分享给大家。 eclipse直接导入Java Project。build path需要自己修改一下。lib全有。 项目使用了Quartz、Jaxb和spring多线程等技术。
Log4j 日志工具demo以及配置文件实例
bit-cafe
06-28 6171
在项目中产生日志是一个项目所必须的，现在用的比较广泛，比较流行的日志工具 就有 log4j ；这个日志工具其实使用起来是很方便的；在使用的时候创建什么的都和java.util.logging.Logger一样的,而jdk的log日志信息的获取和导出是使用Handler 对象，而导出的信息的格式是通过Formatter对象来定义的而log4j的日志信息导入，以及格式是在配置文件中进行配置的。具体看下
日志-demo
weixin_30340775的博客
08-08 116
#include <stdio.h>#include <stdlib.h>#include <string.h>#include <time.h>#include <sys/time.h>#include <errno.h> typedef struct data { 　　char *str; 　　long tim...
大数据日志可视化demo
04-04
这是一个基于flume采集日志kafka消息传输，使用spark将日志划分等级将日志发送到不同级别的管理人员那里，同时将日志实时传送至web页面进行展示
iis日志和tomcat日志批量分析（python）demo
05-18
在IT行业中，日志分析是一项至关重要的任务，它可以帮助我们理解系统的运行状态、排查问题以及优化性能。本示例着重于使用Python进行IIS（Internet Information Services）和Tomcat服务器的日志批量分析。IIS是...
安卓日志分析崩溃拦截相关-用户反馈小demo.zip
07-29
本压缩包"安卓日志分析崩溃拦截相关-用户反馈小demo.zip"提供了一个用户反馈的小型示例，虽然不能保证所有代码都可直接运行，但它们可以作为学习和参考的材料。 首先，让我们来探讨日志分析。在Android中，`Log`类...
RealTimeLogAnalyze:一个大数据实时流处理日志分析系统 Demo
05-26
这是一个大数据实时流处理分析系统 Demo，实现对用户日志的实时分析，采用 Flume + kafka + SparkStreaming + Hbase + SSM + Echarts 的架构。 主要内容包括： 编写 python 脚本，模拟源源不断产生网站的用户行为...
Qt之操作日志输出demo，支持搜索与导出
10-12
这个名为"Qt之操作日志输出demo"的项目，显然是为了展示如何在Qt环境下高效地管理和操作日志。 首先，我们要理解日志的基本概念。日志是程序运行过程中产生的记录信息，通常包括时间戳、事件级别（如错误、警告、...
日志demo
jykenan的专栏
02-12 106
1.public void onCreate(Bundle icicle) { setContentView(R.layout.main); ListView myListView = (ListView)findViewById(R.id.myListView); final EditText myEditText = (EditText)findViewById(R.id.myEditT...
日志系统实现及参考demo
01-21
C语言实现日志系统； 用户使用指南： 1. 本数据包中存在三个文件夹，分别是 self-syslog syslogPrintf 和 user-demo， 其中 self-syslog 文件夹中包含系统日志源文件，读取配置文件函数，以及用户自定义写日志函数; syslogPrintf 文件夹中主要是打印和 log 日志系统（调用syslog实现）函数的封装; user-demo 文件夹中主要是提供的一个 demo 程序，用户可参考该程序的实现完成日志函数的调用，包含自定义函数的例程以及打印函数和syslog日志函数的调用，均可通过配置文件进行日志等级控制； 2. user-demo 文件夹中，存在demo源文件 demo-main.c， 编译脚本 script.sh，以及 Config.ini 配置文件.......具体使用方式参考readme文件；
日志、审计结果分析报告.docx
最新发布
01-06
日志、审计结果分析报告.docx
测试日志分析报告
07-12
测试日志分析报告，这是一份日志分析报告，采用echarts绘图
web日志分析总结
07-21
面对大量日志时，我们该如何处理分析日志的一个大体思路
prometheus-demo:把普罗米修斯和朋友们培养成 Docker 容器
07-07
普罗米修斯演示 要打开 prometheus 的演示实例，包括一些导出器、alertmanager 和 promdash、prometheus 仪表板，只需运行： docker run --privileged -P fish/prometheus-demo 现在您可以访问以下服务： 即使那些出口商主要被普罗米修斯消费，您也可以查看他们的指标： 建造 如果你想自己构建镜像，只需运行： docker build -t prometheus-demo .
Log4j 日志工具demo以及配置文件实例[申明：来源于网络]
yearHeaven的博客
04-27 871
Log4j 日志工具demo以及配置文件实例在项目中产生日志是一个项目所必须的，现在用的比较广泛，比较流行的日志工具 就有 log4j ；这个日志工具其实使用起来是很方便的；在使用的时候创建什么的都和Java.util.logging.Logger一样的,而jdk的log日志信息的获取和导出是使用Handler 对象，而导出的信息的格式是通过Formatter对象来定义的而log4j的日志信息导入，
赛克蓝德日志分析软件(SeciLog)15年总结
weixin_34198453的博客
01-30 322
2019独角兽企业重金招聘Python工程师标准>>> ...
Spring系列——AOP（概念+常用的三种AOP实现方式+日志打印Demo）
Oxygen的博客
03-10 407
1 概念 1.1 基本概念 AOP是Aspect Oriented Programing缩写，即面向切面编程。 AOP通过横向抽取机制为无法通过纵向继承体系进行抽象的重复性代码提供了解决方案。AOP希望将分散在各个业务逻辑代码中的相同代码通过横向切割的方式抽取到一个独立的模块中。 连接点Joinpoint 程序执行的某个特定位置，比如类初始化前、类初始化后、类的某个方法调用前、后、方法抛出异常后。...
记一次简单的日志分析
weixin_30877181的博客
11-15 280
题目文件：https://files.cnblogs.com/files/nul1/access.log.tar 直接搜索flag发现是一题关于二分法注入。 页面为200的字节大小为1765，所以可以通过读取每行判断是否有1765以及有没有flag的关键字样，进而提取值。 脚本如下所示： # coding:utf-8 import re import urlli...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值