mongodb实现请求日志存储

引言

最近学习了mongodb，想实际应用到项目中，就先简单实现了一个存储请求日志的功能；

为什么使用mongodb存储日志，主要是因为日志数据量大、低价值、写入频繁，并且对事务要求不高，使用传统的关系型数据库存储这些数据时会比较浪费，所以一般使用传统的文件进行存储。而mongodb就是一个文档类型的数据库，并且写入速度快，添加字段随意，拓展性好等，非常适合存储日志这种数据；

下面我用一个案例演示一下实际应用：

环境java8、springboot

案例演示

先创建一个mongodb数据库：

db.tf_log.insert({
    requestId: "createInfo-test",
    url: "/test",
    ip: "127.0.0.1",
    className: "UserController",
    method: "getInfo",
    reqParam: "[]",
    createDate: new Date(),
})

springboot种操作mongodb的具体方法看这篇文章：mongodb开发项目总结（java实现crud）

存入请求日志的方法我使用了spring的aop特性，通过一个日志切面类在每次调用接口时存储请求：

/**
 * 请求响应日志 AOP
 *
 * @author yanglingxiao
 **/
@Aspect
@Component
@Slf4j
public class LogInterceptor {

    @Resource
    private MongoTemplate mongoTemplate;

    /**
     * 执行拦截
     */
    @Around("execution(* com.yang.controller.*.*.*(..))")
    public Object doInterceptor(ProceedingJoinPoint point) throws Throwable {
        // 获取请求路径
        RequestAttributes requestAttributes = RequestContextHolder.currentRequestAttributes();
        HttpServletRequest httpServletRequest = ((ServletRequestAttributes) requestAttributes).getRequest();
        // 生成请求唯一 id
        String requestId = UUID.randomUUID().toString();
        // 获取url
        String url = httpServletRequest.getRequestURI();
        // 获取ip
        String ip = IpUtils.getUserIP(httpServletRequest);
        // 获取请求参数
        Object[] args = point.getArgs();
        String reqParam = "[" + StringUtils.join(args, ", ") + "]";
        // 输出请求日志
        log.info("=============request start==============");
        log.info("id: {}, path: {}, ip: {}, params: {}, maximum memory: {}m, allocated memory: {}m, remain memory: {}m, maximum available memory: {}m"
                , requestId, url, ip, reqParam,
                Runtime.getRuntime().maxMemory() / 1024 / 1024,
                Runtime.getRuntime().totalMemory() / 1024 / 1024,
                Runtime.getRuntime().freeMemory() / 1024 / 1024,
                (Runtime.getRuntime().maxMemory() - Runtime.getRuntime().totalMemory() + Runtime.getRuntime().freeMemory()) / 1024 / 1024);
        log.info("========================================");
        // 计时
        StopWatch stopWatch = new StopWatch();
        stopWatch.start();
        // 执行原方法
        Object result = point.proceed();
        stopWatch.stop(); // 计时结束
        // 输出响应日志
        long totalTimeMillis = stopWatch.getTotalTimeMillis();
        log.info("=============request end==============");
        log.info("id: {}, cost: {}ms", requestId, totalTimeMillis);
        log.info("========================================");
        // 存储mongodb日志
        LogBean logBean = new LogBean();
        logBean.setCreateDate(MongoUtils.getMongoDBDate());
        logBean.setClassName(point.getTarget().getClass().getSimpleName()); // 设置类名
        logBean.setMethod(point.getSignature().getName()); // 设置方法名
        logBean.setRequestId(requestId);
        logBean.setUrl(url);
        logBean.setIp(ip);
        logBean.setReqParam(reqParam);
        mongoTemplate.insert(logBean); // 写入mongodb
        return result;
    }
}

LogBean是数据库实体类：

@Document("tf_log")
@Data
public class LogBean {
    @Id
    private String id;
    private String requestId;
    private String url;
    @DateTimeFormat(pattern="yyyy-MM-dd")
    private Date createDate; // 请求时间
    private String ip; // ip地址
    private String className; // 类名
    private String method; // 方法名
    private String reqParam; // 请求参数
}

这样就能实现mongodb对请求日志的存储：

下面补充一下代码中的工具类：

MongoUtils：

/**
 * mongodb工具类
 */
public class MongoUtils {

    /**
     * 获取MongoDB的当前时间，时区UTC转GMT
     * @return GMT时区时间
     */
    public static Date getMongoDBDate() {
        Calendar calendar = Calendar.getInstance();
        calendar.setTime(new Date());
        calendar.add(Calendar.HOUR_OF_DAY, +8);
        return calendar.getTime();
    }
}

因为mongodb存储时区差异，所以需要自己进行矫正，这里getMongoDBDate返回的就是当前正常的时间。
这只是一个简单应用，初学mongodb可以用到项目里，当然案例仅供参考。

至于mongodb日志太多移除问题，mongodb对于集合可以规定固定大小，比如100G，这样mongodb会按照LRU算法来复用空间，自动删除；当然我这里想到一个方法就是用定时任务，比如一个月删除一个前的日志等，灵活处理即可。