背景
我们公司项目组用的是elastic的一整套技术栈,es,kibana,filebeat和apm,目前已经可以采集网关+各个微服务的日志。
架构图
![](https://i-blog.csdnimg.cn/blog_migrate/487a4ddc331846aeb311f031ded80b3a.png)
现在需要在原来的基础上把nginx这的日志也采集上来,方便做链路跟踪
问题与思路
原先traceId是在网关这层产生并且传递下去,因为nginx并不是java实现,没办法用agent方式处理,那么如何在nginx这层产生traceId 并且传递下去?
想到2种解决办法
nginx在1.11版本之后可以在http的header头设置request。
参考nginx 文档 http://nginx.org/en/docs/http/ngx_http_core_module.html#var_request_id
那么解决起来就简单了,在nginx开始的时候设置requestId,注意header里面的key必须是服务elastic的APM规范,让他可以识别出来是trace id。(这边只是给下思路,并没有实际去操作)
在响应的response设置traceid
因为nginx是在请求结束才打印日志,那么可以在gateway写一个filter,在response设置traceId,然后去nginx就可以获取的到traceid
思路二实战
设置nginx的日志格式
vi /{nginx_home}/conf/nginx.conf
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $request_time $request_length $bytes_sent $body_bytes_sent '
'$http_host $sent_http_traceid '
'"$upstream_addr" "$upstream_status" "$upstream_response_time" '
'"$http_referer" "$http_user_agent" "$http_x_forwarded_for"';
access_log logs/access.log main;
设置nginx输出的日志格式 主要关注 $sent_http_traceid 用来获取header里的traceid
![](https://i-blog.csdnimg.cn/blog_migrate/9268006d96d4d5cb9d17398915e5012e.png)
修改完文件之后 记得重新加载 ./nginx -s reload
设置filebeat采集nginx日志
filebeat.inputs:
- type: log #多类日志需定义多个type
enabled: true
paths:
- D:\nginx-1.23.2\logs\access.*
exclude_files: ['\.gz$']
encoding: utf-8
fields:
service_name: test1
service_environment: test
type: nginx.access
####### nginx error 日志文件 ########
- type: log
enabled: true
paths:
- D:\nginx-1.23.2\logs\error.*
exclude_files: ['\.gz$']
encoding: utf-8
fields:
service_name: test1
service_environment: test
type: nginx.error
这边只展示了nginx的日志采集的input,主要是注意修改nginx的日志目录
在网关项目添加代码
添加maven依赖
<dependency>
<groupId>co.elastic.apm</groupId>
<artifactId>apm-agent-api</artifactId>
<version>1.30.1</version>
</dependency>
增加filter,在请求头添加traceId
import cn.hutool.core.collection.ListUtil;
import co.elastic.apm.api.ElasticApm;
import lombok.extern.slf4j.Slf4j;
import org.springframework.core.annotation.Order;
import org.springframework.stereotype.Component;
import org.springframework.web.server.ServerWebExchange;
import org.springframework.web.server.WebFilter;
import org.springframework.web.server.WebFilterChain;
import reactor.core.publisher.Mono;
/**
* 设置trace id
*/
@Component
@Order(3)
@Slf4j
public class ApmTraceIdFilter implements WebFilter {
@Override
public Mono<Void> filter(ServerWebExchange exchange, WebFilterChain chain) {
String apmTraceId = ElasticApm.currentTransaction().getTraceId();;
exchange.getResponse().getHeaders().put("traceid", ListUtil.toList(apmTraceId));
log.info("ApmTraceIdFilter设置trace.id:{}",apmTraceId);
return chain.filter(exchange);
}
}
如果WebFilter获取不到trace.id,那么可以试试用spring cloud gateway的 filter
key必须是traceid,和前面nginx的sent_http_traceid有关联
以上都做完各自重启查看效果
最终效果
先查看nginx的日志
![](https://i-blog.csdnimg.cn/blog_migrate/e32bf69d7fd5b36c00d2c91498f592f7.png)
很好,已经获取到traceid
然后去kibana看整体的效果
![](https://i-blog.csdnimg.cn/blog_migrate/7b012fe5d54adbe28f92de16dc575258.png)
搞定,下班