33、SpringCloud分布式日志采集

最新推荐文章于 2024-05-14 23:29:14 发布

贝壳里的沙

最新推荐文章于 2024-05-14 23:29:14 发布

阅读量5.9k

点赞数 1

分类专栏： spring cloud

本文链接：https://blog.csdn.net/lixiang987654321/article/details/88134072

版权

spring cloud 专栏收录该内容

35 篇文章 8 订阅

订阅专栏

微服务的项目大多都有好几个工程，总的来说可以使用elk+logstash+elasticsearch+kibana做分布式日志处理，ogstash接收日志，elasticsearch 处理数据，kibana展示数据。

（1）打开防火墙

firewall-cmd --zone=public --add-port=5601/tcp --permanent

firewall-cmd --zone=public --add-port=9200/tcp --permanent

firewall-cmd --zone=public --add-port=5044/tcp --permanent

firewall-cmd --zone=public --add-port=9600/tcp --permanent

firewall-cmd --reload

（2）运行elk

elk使用现成的docker镜像

docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk

运行结果：

运行报错：

解决方案：

切换到root用户，之心命令：

sysctl -w vm.max_map_count=262144

查看结果：

sysctl -a|grep vm.max_map_count

上述方法修改后，重启虚拟机将失效，所以/etc/sysctl.conf文件最后添加一行

vm.max_map_count=262144

重启，删除容器docker rm 提示的容器id，重新启动

docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk

等待几分钟，后运行结果：

说明：

5601 - Kibana web 接口

9200 - Elasticsearch JSON 接口

5044 - Logstash 日志接收接口

（3）修改配置

枚举docker容器

docker ps

进入容器

docker exec -it 689da25080c0 sh

测试：

（1）执行命令：/opt/logstash/bin/logstash -e 'input { stdin { } } output { elasticsearch { hosts => ["localhost"] } }'

如果看到这样的报错信息 Logstash could not be started because there is already another instance using the configured data directory. If you wish to run multiple instances, you must change the "path.data" setting.

请执行命令：service logstash stop

然后在执行就可以了

（2）当命令成功被执行后，看到：Successfully started Logstash API endpoint {:port=>9600} 信息后，

输入：this is a dummy entry 然后回车，模拟一条日志进行测试。

（3）打开浏览器，输入：http://<your-host>:9200/_search?pretty 如图，就会看到我们刚刚输入的日志内容

这里输入：http://192.168.12.106:9200/_search?pretty

（4）模拟数据成功后，创建index pattern（只有模拟数据才可以创建索引）

选择过滤属性名：

（5）配置springcloud项目的logstash

首先，引入logstash库：

<groupId>net.logstash.logback</groupId>

<artifactId>logstash-logback-encoder</artifactId>

</dependency>

logback.xml配置

<pattern>${LOG_PATTERN}</pattern>

<charset>${LOG_CHARSET}</charset>

</encoder>

</appender>

<file>${LOG_HOME}/${PROJECT_NAME}-common.log</file>

<pattern>${LOG_PATTERN}</pattern>

<charset>${LOG_CHARSET}</charset>

</encoder>

<fileNamePattern>${LOG_HOME}/${PROJECT_NAME}-common_%d{yyyy-MM-dd}.log

</fileNamePattern>

</rollingPolicy>

</appender>

<file>${LOG_HOME}/${PROJECT_NAME}-error.log</file>

<pattern>${LOG_PATTERN}</pattern>

<charset>${LOG_CHARSET}</charset>

</encoder>

<level>ERROR</level>

</filter>

<fileNamePattern>${LOG_HOME}/${PROJECT_NAME}-error_%d{yyyy-MM-dd}.log

</fileNamePattern>

</rollingPolicy>

</appender>

<file>${LOG_HOME}/${PROJECT_NAME}-biz.log</file>

<pattern>${LOG_PATTERN}</pattern>

<charset>${LOG_CHARSET}</charset>

</encoder>

<fileNamePattern>${LOG_HOME}/${PROJECT_NAME}-biz_%d{yyyy-MM-dd}.log

</fileNamePattern>

</rollingPolicy>

</appender>

<file>${LOG_HOME}/${PROJECT_NAME}-dal.log</file>

<pattern>${LOG_PATTERN}</pattern>

<charset>${LOG_CHARSET}</charset>

</encoder>

<fileNamePattern>${LOG_HOME}/${PROJECT_NAME}-dal_%d{yyyy-MM-dd}.log

</fileNamePattern>

</rollingPolicy>

</appender>

<file>${LOG_HOME}/${PROJECT_NAME}-integ.log</file>

<pattern>${LOG_PATTERN}</pattern>

<charset>${LOG_CHARSET}</charset>

</encoder>

<fileNamePattern>${LOG_HOME}/${PROJECT_NAME}-integ_%d{yyyy-MM-dd}.log

</fileNamePattern>

</rollingPolicy>

</appender>

<file>${LOG_HOME}/${PROJECT_NAME}-shiro.log</file>

<pattern>${LOG_PATTERN}</pattern>

<charset>${LOG_CHARSET}</charset>

</encoder>

<fileNamePattern>${LOG_HOME}/${PROJECT_NAME}-shiro_%d{yyyy-MM-dd}.log

</fileNamePattern>

</rollingPolicy>

</appender>

<file>${LOG_HOME}/${PROJECT_NAME}-cas.log</file>

<pattern>${LOG_PATTERN}</pattern>

<charset>${LOG_CHARSET}</charset>

</encoder>

<fileNamePattern>${LOG_HOME}/${PROJECT_NAME}-cas_%d{yyyy-MM-dd}.log

</fileNamePattern>

</rollingPolicy>

</appender>

<file>${LOG_HOME}/${PROJECT_NAME}-mybatis.log</file>

<pattern>${LOG_PATTERN}</pattern>

<charset>${LOG_CHARSET}</charset>

</encoder>

<fileNamePattern>${LOG_HOME}/${PROJECT_NAME}-mybatis_%d{yyyy-MM-dd}.log

</fileNamePattern>

</rollingPolicy>

</appender>

<file>${LOG_HOME}/${PROJECT_NAME}-dubbo.log</file>

<pattern>${LOG_PATTERN}</pattern>

<charset>${LOG_CHARSET}</charset>

</encoder>

<fileNamePattern>${LOG_HOME}/${PROJECT_NAME}-dubbo_%d{yyyy-MM-dd}.log

</fileNamePattern>

</rollingPolicy>

</appender>

<file>${LOG_HOME}/${PROJECT_NAME}-apachecommon.log</file>

<pattern>${LOG_PATTERN}</pattern>

<charset>${LOG_CHARSET}</charset>

</encoder>

<fileNamePattern>${LOG_HOME}/${PROJECT_NAME}-apachecommon_%d{yyyy-MM-dd}.log

</fileNamePattern>

</rollingPolicy>

</appender>

<file>${LOG_HOME}/${PROJECT_NAME}-zookeeper.log</file>

<pattern>${LOG_PATTERN}</pattern>

<charset>${LOG_CHARSET}</charset>

</encoder>

<fileNamePattern>${LOG_HOME}/${PROJECT_NAME}-zookeeper_%d{yyyy-MM-dd}.log

</fileNamePattern>

</rollingPolicy>

</appender>

<file>${LOG_HOME}/${PROJECT_NAME}-spring.log</file>

<pattern>${LOG_PATTERN}</pattern>

<charset>${LOG_CHARSET}</charset>

</encoder>

<fileNamePattern>${LOG_HOME}/${PROJECT_NAME}-spring_%d{yyyy-MM-dd}.log

</fileNamePattern>

</rollingPolicy>

</appender>

<file>${LOG_HOME}/${PROJECT_NAME}-quartz.log</file>

<pattern>${LOG_PATTERN}</pattern>

<charset>${LOG_CHARSET}</charset>

</encoder>

<fileNamePattern>${LOG_HOME}/${PROJECT_NAME}-quartz_%d{yyyy-MM-dd}.log

</fileNamePattern>

</rollingPolicy>

</appender>

<file>${LOG_HOME}/${PROJECT_NAME}-apachehttp.log</file>

<pattern>${LOG_PATTERN}</pattern>

<charset>${LOG_CHARSET}</charset>

</encoder>

<fileNamePattern>${LOG_HOME}/${PROJECT_NAME}-apachehttp_%d{yyyy-MM-dd}.log

</fileNamePattern>

</rollingPolicy>

</appender>

<file>${LOG_HOME}/${PROJECT_NAME}-other.log</file>

<pattern>${LOG_PATTERN}</pattern>

<charset>${LOG_CHARSET}</charset>

</encoder>

<fileNamePattern>${LOG_HOME}/${PROJECT_NAME}-other_%d{yyyy-MM-dd}.log

</fileNamePattern>

</rollingPolicy>

</appender>

<keepAliveDuration>5 minutes</keepAliveDuration>

<!-- 日志输出编码

</timestamp>

{

"severity": "%level",

"service": "${springAppName:-}",

"trace": "%X{X-B3-TraceId:-}",

"span": "%X{X-B3-SpanId:-}",

"exportable": "%X{X-Span-Export:-}",

"pid": "${PID:-}",

"thread": "%thread",

"class": "%logger{40}",

"rest": "%message"

}

</pattern>

</providers>

</encoder>

-->

</appender>

<appender-ref ref="CONSOLE" />

<appender-ref ref="PROJECT-COMMON" />

<appender-ref ref="PROJECT-ERROR" />

<appender-ref ref="logstash" />

</root>

<appender-ref ref="PROJECT-BIZ" />

<appender-ref ref="PROJECT-ERROR" />

<appender-ref ref="logstash" />

</logger>

<appender-ref ref="PROJECT-SHIRO" />

<appender-ref ref="PROJECT-ERROR" />

</logger>

<appender-ref ref="PROJECT-CAS" />

<appender-ref ref="PROJECT-ERROR" />

</logger>

<appender-ref ref="PROJECT-MYBATIS" />

<appender-ref ref="PROJECT-ERROR" />

</logger>

<appender-ref ref="PROJECT-ZOOKEEPER" />

<appender-ref ref="PROJECT-ERROR" />

</logger>

<appender-ref ref="PROJECT-ZOOKEEPER" />

<appender-ref ref="PROJECT-ERROR" />

</logger>

<appender-ref ref="PROJECT-DUBBO" />

<appender-ref ref="PROJECT-ERROR" />

</logger>

<appender-ref ref="PROJECT-APACHECOMMON" />

<appender-ref ref="PROJECT-ERROR" />

</logger>

<appender-ref ref="PROJECT-SPRING" />

<appender-ref ref="PROJECT-ERROR" />

</logger>

<appender-ref ref="PROJECT-QUARTZ" />

<appender-ref ref="PROJECT-ERROR" />

</logger>

<appender-ref ref="PROJECT-APACHEHTTP" />

<appender-ref ref="PROJECT-ERROR" />

</logger>

<appender-ref ref="PROJECT-COMMON" />

<appender-ref ref="PROJECT-ERROR" />

</logger>

</configuration>

测试日志：

查看日志（并筛选，查看所有用*）

可以按左边任意选项搜索：

）

注意如果根据如下操作将配置配置在vim 02-beats-input.conf是无效的！！！（经过测试无效，暂时没有去查找其原因），仅供参考！

进入配置目录

cd /etc/logstash/conf.d

编辑配置文件02-beats-input.conf

vim 02-beats-input.conf

将如下配置：

修改为：

或：

output {

elasticsearch {

hosts => ["192.168.160.66:9200","192.168.160.88:9200","192.168.160.166:9200"]

index => "applog"

}

stdout { codec => rubydebug } //若不需要在控制台中输出，此行可以删除

}

redis读取配置：

input {

redis {

codec => json

host => "192.168.2.246"

port => 56379

key => "data-mgr"

data_type => "list"

}

注意：

（1）其中port为端口号，codec表示通过json格式，elasticsearch.hosts表示elasticsearch的地址，这里可以是集群。index为日志存储的elasticsearch索引。

（2）由于sebp/elk中logstash的input的方式默认是filebeat,首先们需要进入elk容器中修改input方式。logstash默认会将etc/logstash/conf.d/中的配置文件进行整合然后启动，修改完成后重新启动容器：

docker restart elk

也可以自己将配置文件test.conf：

input {

tcp {

##host:port就是上面appender中的 destination，这里其实把logstash作为服务，开启9250端口接收logback发出的消息

host => "127.0.0.1"

port => 9100

mode => "server"

tags => ["tags"]

codec => json_lines

}

output {

stdout { codec => rubydebug }

#输出到es

elasticsearch { hosts => "127.0.0.1:9200" }

#输出到一个文件中

file {

path => "D:/study/springcloud_house/ELK/logstash-6.1.1/out"

codec => line

}

然后启动使用自己的配置：.\bin\logstash -f test.conf

访问界面：http://192.168.12.106:5601，进入进入kibana界面

docker images

docker push

快来成为我的朋友或合作伙伴，一起交流，一起进步！
QQ群：961179337
微信：lixiang6153
邮箱：lixx2048@163.com
公众号：IT技术快餐
更多资料等你来拿！

贝壳里的沙

关注

1
点赞
踩
8

收藏

觉得还不错? 一键收藏
打赏
0
评论
33、SpringCloud分布式日志采集

微服务的项目大多都有好几个工程，总的来说可以使用elk+logstash+elasticsearch+kibana做分布式日志处理，ogstash接收日志，elasticsearch 处理数据，kibana展示数据。（1）打开防火墙firewall-cmd --zone=public --add-port=5601/tcp --permanentfirewall-c...
复制链接

扫一扫