Prometheus 导致 Jaeger API 请求超时 timeout 的故障

问题背景

使用 Jaeger 的 9411 端口（用于兼容 Zipkin 的端口）提交调用链的 span 信息，Jaeger 服务运行一段时候后，9411 端口上的请求就会全部超时，必须重启后才能恢复。

同样的问题后来我也尝试了其他端口，也有同样的问题。

版本

Jaeger 1.22

产生原因

查看日志发现有来源下面路径的请求：

/%C0%AE%C0%AE/%C0%AE%C0%AE/%C0%AE%C0%AE/%C0%AE%C0%AE/%C0%AE%C0%AE/%C0%AE%C0%AE/%C0%AE%C0%AE/%C0%AE%C0%AE/%C0%AE%C0%AE/%C0%AE%C0%AE/etc/profile

这个请求来源我们这边的安全组扫描。这个请求导致了以下错误：

2021/04/18 04:10:51 http: panic serving xx.xx.xx.xx:xxxx: label value "/\xc0\xae\xc0\xae/\xc0\xae\xc0\xae/\xc0\xae\xc0\xae/\xc0\xae\xc0\xae/\xc0\xae\xc0\xae/\xc0\xae\xc0\xae/\xc0\xae\xc0\xae/\xc0\xae\xc0\xae/\xc0\xae\xc0\xae/\xc0\xae\xc0\xae/etc/profile" is not valid UTF-8
goroutine 35495 [running]:
net/http.(*conn).serve.func1(0xc0004a2640)
	net/http/server.go:1801 +0x147
panic(0x1392360, 0xc00093cae0)
	runtime/panic.go:975 +0x47a
g