记录Http请求日志（埋点）-过滤器方式

最新推荐文章于 2023-11-14 15:25:49 发布
最新推荐文章于 2023-11-14 15:25:49 发布
阅读量2.3k 收藏 17
点赞数 1
分类专栏： 个人心得 文章标签： 埋点 请求日志 过滤器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16465949/article/details/109469554
版权
一、需求
1、需求概述

内部管理系统，用于统计用户的使用情况，使用习惯。

2、分析

由于是内部系统，用商业级埋点有点浪费。可以借助ELK日志分析系统，为HTTP API接口增加统一请求日志。

3、统一请求日志要记录以下信息：
  • 请求信息：请求路径、请求参数、请求时间、响应状态
  • 用户信息：用户id、操作系统、浏览器版本
  • 应用信息：接口耗时、响应结果（API统一格式的返回结果）
二、选用AOP or Filter

1、AOP拦截所有方法，可以拦截指定Controller；

2、Filter拦截所有请求，拦截位置比Handler靠前，比较适合用于行为日志记录

以终为始，不管黑猫白猫，能抓住老鼠就是好猫。这两种方式均能满足需求。本章选用Filter方式实现。

3、选用个Filter

  • OncePerRequestFilter（SpringMVC）

抽象类OncePerRequestFilter继承自GenericFilterBean，它保留了GenericFilterBean中的所有方法并对之进行了扩展，在oncePerRequestFilter中的主要方法是doFilter。

  • AbstractRequestLoggingFilter（SpringMVC）

AbstractRequestLoggingFilter是对OncePerRequestFilter的扩展，它除了遗传了其父类及祖先类的所有功能外，还在doFilterInternal中决定了在过滤之前和之后执行的事件，它的子类关注的是beforeRequest和afterRequest。

因为埋点需求需要记录response信息，选用基于OncePerRequestFilter实现，并参考HttpTraceLogFilter一些思路和写法

三、实现代码

1、日志配置

logback-spring.xml

<!-- 行为埋点 -->
    <appender name="EVENT_LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <File>${LOG_HOME}/event.log</File>
        <append>true</append>
        <!-- ThresholdFilter:临界值过滤器，过滤掉 TRACE 和 DEBUG 级别的日志 -->
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
        <encoder>
            <Pattern>%msg%n</Pattern>
            <charset>UTF-8</charset>
        </encoder>
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <!-- 每天生成一个日志文件，保存30天的日志文件
            - 如果隔一段时间没有输出日志，前面过期的日志不会被删除，只有再重新打印日志的时候，会触发删除过期日志的操作。
            -->
            <fileNamePattern>${LOG_HOME}/event.%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <maxHistory>30</maxHistory>
            <maxFileSize>100MB</maxFileSize>
            <totalSizeCap>3GB</totalSizeCap>
        </rollingPolicy>
    </appender>
<!-- 省略其他 -->
<logger name="event_log" level="info" additivity="false">
        <appender-ref ref="EVENT_LOG"/>
    </logger>

pom

<dependency>
			<groupId>cn.hutool</groupId>
			<artifactId>hutool-all</artifactId>
			<version>5.3.2</version>
		</dependency>

2、日志格式封装（model）

import com.fasterxml.jackson.annotation.JsonFormat;
import com.fasterxml.jackson.databind.annotation.JsonSerialize;
import com.fasterxml.jackson.datatype.jsr310.ser.LocalDateTimeSerializer;
import lombok.Data;
import org.springframework.format.annotation.DateTimeFormat;
import java.time.LocalDateTime;

/**
 *	行为埋点
 * @author Ice sun
 * @date 2020/10/29 18:01
 */
@Data
public class EventLog {

	/**
	 * 用户id
	 */
	private String userId;
	/**
	 * 用户邮箱
	 */
	private String email;
	/**
	 * 机构名称
	 */
	private String orgName;
	/**
	 * 部门名称
	 */
	private String deptName;
	/**
	 * 请求路径
	 */
	private String url;
	/**
	 * 请求 IP
	 */
	private String ip;
	/**
	 * 请求参数
	 */
	private String params;
	/**
	 * 接口用时（毫秒）
	 */
	private Long useTime;
	/**
	 * 浏览器类型
	 */
	private String browser;
	/**
	 * 操作系统类型
	 */
	private String operatingSystem;
	/**
	 * 请求响应状态，示例：200 302等
	 */
	private Integer status;
	/**
	 * 统一接口响应状态代码 1 成功 其他见码表
	 */
	private String code;
	/**
	 * 统一接口响应状态描述
	 */
	private String msg;
	/**
	 * 统一接口响应状态结果
	 */
	private String data;
	/**
	 * 记录时间
	 */
	@JsonSerialize(using = LocalDateTimeSerializer.class)
	@DateTimeFormat(iso = DateTimeFormat.ISO.TIME)
	@JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss", timezone = "GMT+8")
	private LocalDateTime createTime;
}

3、过滤器（Filter）

/**
 *	埋点Filter
 * @author Ice sun
 * @date 2020/11/2 19:27
 */
public class HttpEventLogFilter extends OncePerRequestFilter {

	private final Logger log = LoggerFactory.getLogger("event_log");
	/**
	 * 预留日志总开关，通过配置开启或关闭
	 */
	private boolean logEnabed = true;
	/**
	 * 排除上传文件类请求
	 */
	private static final String IGNORE_CONTENT_TYPE = "multipart/form-data";

	@Override
	protected void doFilterInternal(HttpServletRequest request, HttpServletResponse response, FilterChain filterChain)
			throws ServletException, IOException {

		if (!(request instanceof ContentCachingRequestWrapper)) {
			request = new ContentCachingRequestWrapper(request);
		}

		if (!(response instanceof ContentCachingResponseWrapper)) {
			response = new ContentCachingResponseWrapper(response);
		}

		int status = HttpStatus.INTERNAL_SERVER_ERROR.value();
		LocalDateTime start = LocalDateTime.now();
		try {
			filterChain.doFilter(request, response);
			status = response.getStatus();
		}catch (Exception e){
			log.error("TraceLogFilter",e);
		} finally {
			if(logEnabed&&!Objects.equals(IGNORE_CONTENT_TYPE, request.getContentType())) {
				ObjectMapper mapper = new ObjectMapper();

				LocalDateTime end = LocalDateTime.now();
				Duration duration = Duration.between(start, end);
				Long useTime = duration.toMillis();
				HttpSession session = request.getSession(false);

				EventLog eventLog = new EventLog();
				String userId = (String) session.getAttribute("userId");
				String email = (String) session.getAttribute("email");
				//请求参数
				StringBuffer requestParams = new StringBuffer();
				if("POST".equals(request.getMethod())){
					String params = getRequestBody(request);
					requestParams.append(params);
				}else {
					String queryString = request.getQueryString();
					requestParams.append(queryString);
				}
				//响应结果,如果没有统一返回格式，此处需要改写
				String result = getResponseBody(response);
				ResultVO resultVO = new ResultVO();//API统一响应封装类
				resultVO = mapper.readValue(result,ResultVO.class);

				String ip = getRealIP(request);
				String header = request.getHeader("User-Agent");
				//hutools工具类
				UserAgent ua = UserAgentUtil.parse(header);

				eventLog.setUserId(userId);
				eventLog.setEmail(email);
				eventLog.setParams(requestParams.toString());
				eventLog.setUrl(request.getRequestURI());
				eventLog.setIp(ip);
				eventLog.setBrowser(ua == null ? "" : ua.getBrowser() == null ? "" : ua.getBrowser().toString());
				eventLog.setOperatingSystem(ua == null ? "" : ua.getPlatform() == null ? "" : ua.getPlatform().toString());
				eventLog.setStatus(status);
				eventLog.setUseTime(useTime);
				eventLog.setCode(resultVO.getCode());
				eventLog.setData(resultVO.getDate());
				eventLog.setMsg(resultVO.getMsg());
				eventLog.setCreateTime(start);

				log.info(mapper.writeValueAsString(eventLog));
				
			}
			//非常关键，一定要加
			updateResponse(response);
		}
	}

	/**
	 * 获取请求的真实IP
	 * @param request
	 * @return
	 */
	public static String getRealIP(HttpServletRequest request) {
		String ip = request.getHeader("X-Forwarded-For");
		if (!StringUtils.isEmpty(ip) && !"unKnown".equalsIgnoreCase(ip)) {
			//多次反向代理后会有多个ip值，第一个ip才是真实ip
			int index = ip.indexOf(",");
			if (index != -1) {
				return ip.substring(0, index);
			} else {
				return ip;
			}
		}
		ip = request.getHeader("X-Real-IP");
		if (!StringUtils.isEmpty(ip) && !"unKnown".equalsIgnoreCase(ip)) {
			return ip;
		}
		return request.getRemoteAddr();
	}

	private String getRequestBody(HttpServletRequest request) {
		String requestBody = "";
		ContentCachingRequestWrapper wrapper = WebUtils.getNativeRequest(request, ContentCachingRequestWrapper.class);
		if (wrapper != null) {
			try {
				requestBody = IOUtils.toString(wrapper.getContentAsByteArray(), wrapper.getCharacterEncoding());
			} catch (IOException e) {
				// NOOP
			}
		}
		return requestBody;
	}

	private String getResponseBody(HttpServletResponse response) {
		String responseBody = "";
		ContentCachingResponseWrapper wrapper = WebUtils.getNativeResponse(response, ContentCachingResponseWrapper.class);
		if (wrapper != null) {
			try {
				responseBody = IOUtils.toString(wrapper.getContentAsByteArray(), wrapper.getCharacterEncoding());
			} catch (IOException e) {
				// NOOP
			}
		}
		return responseBody;
	}
	/**
	 * 解决字节流在读取了一次之后清空的问题
	 */
    private void updateResponse(HttpServletResponse response) throws IOException {
		ContentCachingResponseWrapper responseWrapper = WebUtils
				.getNativeResponse(response, ContentCachingResponseWrapper.class);
		Objects.requireNonNull(responseWrapper).copyBodyToResponse();
	}
}

4、SpringBoot，Application类注册Filter

   /**
	 * 记录http请求日志
	 * @return
	 */
	@Bean
	public FilterRegistrationBean httpEventFilter() {
		FilterRegistrationBean registration = new FilterRegistrationBean(new HttpEventLogFilter());
		registration.addUrlPatterns("/api/*");
		return registration;
	}
四、总结

实际需求拆解出来的思考过程和关键代码实现。上述代码未考虑是用户否登录情况，即用户信息日志，加上session值的判断更加完整。
AOP实现地址：https://blog.csdn.net/qq_16465949/article/details/109490660

参考链接：https://www.sofastack.tech/projects/

SOFATracer 是蚂蚁金服开发的基于 OpenTracing 规范 的分布式链路跟踪系统，其核心理念就是通过一个全局的 TraceId 将分布在各个服务节点上的同一次请求串联起来。通过统一的 TraceId 将调用链路中的各种网络调用情况以日志的方式记录下来同时也提供远程汇报到 Zipkin 进行展示的能力，以此达到透视化网络调用的目的。

参考文章：https://blog.csdn.net/weixin_33941350/article/details/88033066

冰色阳光
关注
  • 1
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
在Spring MVC或Spring Boot中使用Filter打印请求参数问题
12-21
使用Spring MVC或Spring Boot中打印或记录日志一般使用AOP记录Request请求和Response响应参数，在不使用AOP的前提下，如果在Filter中打印日志，在打印或消费请求类型为Content-Type:application/json的请求时，会出现严重的问题。 在Spring体系中，过滤器的定义我们一般采用继承OncePerRequestFilter的方式，当然也可以使用原始的Filter。 错误写法一： 如果不对request和response进行处理，使用伪代码采用如下写法打印请求和响应参数（注：此时request请求类型为Post，接收的是Json数据）
http服务器之日志系统
weixin_43327696的博客
06-30 1151
一、单例模式 日志系统采用了单例模式，单例模式保证一个类只有一个实例，同时提供了一个可供全局访问该实例的静态方法，该实例可以被程序的所有模块共享。 实现方法：通过一个类静态成员返回局部静态实例，可供全局访问。同时私有化类的构造函数、析构函数。防止外界创建单例类的对象。 二、日志系统的初始化 主要包括判断同步日志/异步日志、初始化日志类的成员变量（日志的缓冲区申请内存、日志最大行数、日志的日期等）、创建日志文件（日志文件名是根据日期命名的） 三、日志的写入 1、首先传入的参数确定日志的具体类型 目前定义有4种
【项目实战】自主实现 HTTP 项目（二）——日志的打印与添加
2021级大一程序白一枚，记录学习的每一步的脚印
08-29 695
这是我们自己"socket error" 输出的，而了解过网络编程的类似绑定，监听，以及各种执行下来，这种结构不在少数，难道都我们自己来一个一个把他们写出来吗，肯定不是的，我们可以设置一个日志信息，当执行到某一部的时候，把相关性质的参数传给它，让他帮我们快捷性的打印当前的执行结果状态，这就是日志的作用。......
前端学HTTP之日志记录
weixin_34375251的博客
12-20 256
前面的话 　　几乎所有的服务器和代理都会记录下它们所处理的HTTP事务摘要。这么做出于一系列的原因：跟踪使用情况、安全性、计费、错误检测等等。本文将介绍日志记录   记录内容 　　大多数情况下，日志的记录出于两种原因：査找服务器或代理中存在的问题(比如，哪些请求失败了)，或者是生成Web站点访问方式的统计信息。统计数据对市场营销、计费和容量规划(比如，决定是否需要增加服务器或带宽)都非常有...
OncePerRequestFilter 详解
热门推荐
qq_24910693的博客
08-26 3万+
1.OncePerRequestFilter 简介 OncePerRequestFilter是Spring Boot里面的一个过滤器抽象类，其同样在Spring Security里面被广泛用到，这个过滤器抽象类通常被用于继承实现并在每次请求时只执行一次过滤。 2. servlet filter 为啥会多次执行 在servlet2.3中，Filter会经过一切请求，包括服务器内部使用的forward转发请求和<%@ include file=”/login.jsp”%>的情况 servl.
OncePerRequestFilter详解
最新发布
qq_36551991的博客
11-14 4104
OncePerRequestFilter是Spring框架提供的一个过滤器，确保在一次HTTP请求期间只执行一次特定的过滤器逻辑。通过使用onceperrequestfilter，我们可以实现过滤器在同一次请求中只执行一次的效果，提高程序性能。OncePerRequestFilter跟普通Filter的最大区别就是执行次数，OncePerRequestFilter可以确保在一次HTTP请求期间只执行一次特定的过滤器，避免过滤器多次执行的问题。
Spring的OncePerRequestFilter过滤器
奔跑的菜鸡
08-26 1万+
Spring的OncePerRequestFilter OncePerRequestFilter顾名思义，他能够确保在一次请求只通过一次filter，而不需要重复执行 大家常识上都认为，一次请求本来就只过一次,还要OncePerRequestFilter限制一次过滤干啥。 其实实际上因为不同的web container对请求的过滤方式都不一样，比如在servlet-2.3中，Filter会过滤一切请求，包括服务器内部使用forward转发请求和<%@ include file="/index.jsp"
SpringBoot - OncePerRequestFilter的使用场景
记录并分享
08-17 1万+
OncePerRequestFilter类是一个实现了javax.servlet.Filter原生接口的抽象类。OncePerRequestFilter可以保证一次外部请求，只执行一次过滤方法，对于服务器内部之间的forward等请求，不会再次执行过滤方法。
SpringBoot记录Http请求日志的方法
08-26
主要介绍了SpringBoot记录Http请求日志的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Flask-Logging:过滤来自 Flask 日志的请求
06-02
烧瓶记录从 Flask 日志中过滤某些请求。 当请求充满 /static/ URL 时，在开发过程中很有用。 不用于生产，Flask-Logging 猴子修补了werkzeug日志功能。安装 pip install flask-logging用法 from flask_logging ...
log-z-request:Hatsy请求记录器
04-19
记录该请求 通过记录器请求记录。 包含ZLogging功能，该功能提供了请求记录程序手段，其中包含用于处理程序的ZLogger实例。 日志消息实际上是在某些条件下写入日志的。 例如，当发生请求处理错误，记录错误或显式...
java模拟发送form-data的请求方式
08-19
主要介绍了java模拟发送form-data的请求方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
在ruby中记录传出的HTTP请求-Ruby开发
05-27
httplog记录从应用程序发出的传出HTTP请求。 帮助调试讨厌的API错误响应，或者只是大致了解幕后情况。 到目前为止，由于此问题，此宝石可与rubygems.org的以下ruby mo httplog版本1.4.0和1.4.1兼容，请更新至1.4.2或...
【Spring Security】使用 OncePerRequestFilter 过滤器校验登录过期、请求日志等操作
杜小舟的博客
08-31 2980
是一个过滤器，每个请求都会执行一次；一般开发中主要是做检查是否已登录、Token是否过期和授权等操作，而每个操作都是一个过滤器，下面演示一下。
OncePerRequestFilter
gliberte的博客
07-06 955
OncePerRequestFilter的作用与使用。
Spring实用系列-深入了解SpringMVC OncePerRequestFilter过滤器原理
初学者
12-06 1万+
导语   OncePerRequestFilter作为SpringMVC中的一个过滤器，在每次请求的时候都会执行。它是对于Filter的抽象实现。比起特定的过滤器来说，这个过滤器对于每次的请求都进行请求过滤。下面就来分析OncePerRequestFilter 文章目录OncePerRequestFilter介绍org.springframework.web.filter.OncePerReq...
过滤器Filter和拦截器HandlerInterceptor
myfirstuser的博客
07-30 2243
1、过滤器 依赖于servlet容器。在实现上基于函数回调，可以对几乎所有请求进行过滤，但是缺点是一个过滤器实例只能在容器初始化时调用一次。 使用过滤器的目的是用来做一些过滤操作，获取我们想要获取的数据。 比如：在过滤器中修改字符编码；在过滤器中修改HttpServletRequest的一些参数，包括：过滤低俗文字、危险字符等。 Java中的Filter并不是一个标准的Servlet ，它不能处理...
springWeb---OncePerRequestFilter抽象类
池海
03-11 1285
作用： OncePerRequestFilter抽象类最主要的作用就是保证一次请求只通过一次filter，而不需要重复执行。从下图也可以看到在spring的filter中都继承了OncePerRequestFilter，为什么要这么做呢？ 场景： 通过官方英文注释可以找到一些解释，这个抽象类的出现是为了兼容不同的web容器。因为在不同的servlet版本中，执行过程也不同。例如： 在Servle...
压缩包密码破解工具-ARCHPR
refire
11-25 1万+
ARCHPR是一款强大又专业的密码恢复工具，软件主要是用于解密RAR压缩包的密码，它能够帮助用户轻松的解锁各种带有密码的压缩包文件。
在过滤器中实现请求参数和响应结果日志的打印
05-30
可以通过在过滤器中获取请求参数和响应结果并打印日志的方式来实现。 在过滤器中，可以通过HttpServletRequest对象获取请求参数，例如： ```java String queryString = request.getQueryString(); // 获取请求参数 ``` 而获取响应结果则需要在HttpServletResponse对象的输出流中进行捕获，例如： ```java // 获取响应输出流 PrintWriter writer = response.getWriter(); // 创建一个新的输出流 PrintWriter newWriter = new PrintWriter(new OutputStreamWriter(writer, "UTF-8"), true); // 将新输出流设置给HttpServletResponse对象 response.setCharacterEncoding("UTF-8"); response.setContentType("application/json;charset=UTF-8"); response.getWriter().write(result); // result为响应结果 // 捕获输出流中的内容 String responseResult = new String(writer.toString().getBytes("UTF-8")); ``` 在获取到请求参数和响应结果后，可以通过日志框架（如log4j、slf4j等）将其打印出来，例如： ```java import org.slf4j.Logger; import org.slf4j.LoggerFactory; public class RequestLoggingFilter implements Filter { private static final Logger logger = LoggerFactory.getLogger(RequestLoggingFilter.class); @Override public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException { HttpServletRequest httpRequest = (HttpServletRequest) request; String queryString = httpRequest.getQueryString(); // 获取请求参数 logger.info("Request URL: {}?{}", httpRequest.getRequestURL(), queryString); HttpServletResponse httpResponse = (HttpServletResponse) response; // 获取响应输出流 PrintWriter writer = httpResponse.getWriter(); // 创建一个新的输出流 PrintWriter newWriter = new PrintWriter(new OutputStreamWriter(writer, "UTF-8"), true); // 将新输出流设置给HttpServletResponse对象 httpResponse.setCharacterEncoding("UTF-8"); httpResponse.setContentType("application/json;charset=UTF-8"); // 捕获输出流中的内容 String responseResult = new String(writer.toString().getBytes("UTF-8")); logger.info("Response: {}", responseResult); // 继续执行过滤器链 chain.doFilter(request, response); } @Override public void init(FilterConfig filterConfig) throws ServletException { } @Override public void destroy() { } } ``` 以上就是在过滤器中实现请求参数和响应结果日志打印的方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值