logback，logstash，elasticsearch配置，日志收集

最新推荐文章于 2024-05-23 21:37:25 发布
最新推荐文章于 2024-05-23 21:37:25 发布
阅读量9k 收藏 9
点赞数 3
分类专栏： java学习，log 文章标签： logstash elasticsearch logback log elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pretendjoke/article/details/70295454
版权

看了很多网上的其他博客，感觉这配置上的坑好多，一天下来踩了很多坑，我写这篇博客就是为了防止大家继续掉坑里用的。废话不多说，我们进入正题。

(java环境自己之前配置好，这我就不讲了,接下去碰到的172.30.194.180这个地址是我内网测试服务器的ip地址，你们改为自己的机器ip或者域名即可)

1.logstash的安装：

wget https://download.elastic.co/logstash/logstash/logstash-2.2.0.tar.gz 
tar zxvf logstash-2.2.0.tar.gz


（我们这里用的logstash和接下去的elasticsearch都用的2.2.0版本）

进入logstash的根目录下面:

启动logstash:

bin/logstash -e 'input { stdin { } } output { stdout {} }'


然后命令行输入一些字符串:

hello
2017-04-21T02:32:57.582Z 172_30_194_180 hello

看到上面按照日志格式输出的内容就说明logstash运行成功了。

接下去我们换种输出方式试验下：

bin/logstash -e 'input { stdin { } } output { stdout {codec => rubydebug } }'


继续输入一些字符串：

jetty
{
       "message" => "jetty",
      "@version" => "1",
    "@timestamp" => "2017-04-21T02:36:01.834Z",
          "host" => "172_30_194_180"
}

看到结果输出的格式已经不一样了。接下去我们安装elasticsearch

2.elasticsearch的安装：

wget https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/zip/elasticsearch/2.2.0/elasticsearch-2.2.0.zip
unzip elasticsearch-2.2.0.zip


下载后在elasticsearch(下面简称es)根目录下启动

./bin/elasticsearch


发现报错了，是因为es不允许root权限启动，我们添加一个用户:

#添加一个用户：elasticsearch
$useradd elasticsearch
#给用户elasticsearch设置密码，连续输入2次
$passwd elasticsearch
#创建一个用户组 es
groupadd es
#分配 elasticsearch 到 es 组
usermod -G elasticsearch es
#这里注意下，如果提示用户“es”不存在，那么是因为服务器版本问题，你可以换成 usermod -G es elasticsearch ,也就是用户和用户组对调一下使用。
#在elasticsearch 根目录下，给定用户权限。-R表示逐级（N层目录） ， * 表示 任何文件
chown  -R elasticsearch.es *
#切换到elasticsearch用户
su elasticsearch


如果不按上面的给用户elasticearch分配权限目录。那么会报下面的错。

java.io.FileNotFoundException: /home/es/elasticsearch-2.2.0/logs/elasticsearch.log (Permission denied)
        at java.io.FileOutputStream.open(Native Method)
        at java.io.FileOutputStream.(FileOutputStream.java:221)
        at java.io.FileOutputStream.(FileOutputStream.java:142)
        at org.apache.log4j.FileAppender.setFile(FileAppender.java:294)
        at org.apache.log4j.FileAppender.activateOptions(FileAppender.java:165)
        at org.apache.log4j.DailyRollingFileAppender.activateOptions(DailyRollingFileAppender.java:223)
        at org.apache.log4j.config.PropertySetter.activate(PropertySetter.java:307)
        at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:172)
        at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:104)
        at org.apache.log4j.PropertyConfigurator.parseAppender(PropertyConfigurator.java:842)
        at org.apache.log4j.PropertyConfigurator.parseCategory(PropertyConfigurator.java:768)
        at org.apache.log4j.PropertyConfigurator.configureRootCategory(PropertyConfigurator.java:648)
        at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:514)
        at org.apache.log4j.PropertyConfigurator.configure(PropertyConfigurator.java:440)
        at org.elasticsearch.common.logging.log4j.LogConfigurator.configure(LogConfigurator.java:128)
        at org.elasticsearch.bootstrap.Bootstrap.setupLogging(Bootstrap.java:204)
        at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:258)
        at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:35)
log4j:ERROR Either File or DatePattern options are not set for appender [file].
log4j:ERROR setFile(null,true) call failed.


修改配置文件：

$ vi config/elasticsearch.yml
#cluster name
cluster.name: sojson-application
#节点名称
node.name: node-1
#绑定IP和端口
network.host: 172.30.194.180
http.port: 9200


安装head插件。

进入
$ cd elasticsearch/bin
$ ./plugin install mobz/elasticsearch-head
启动es
./bin/elasticsearch

再访问http://172.30.194.180:9200/_plugin/head/

如下图就对了。

3.java代码中logback配置

首先我们引入maven依赖：

<dependency> 
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>4.7</version>
</dependency>


并且引入下面这些提前应该要有的依赖：

<!-- jackson -->
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-core</artifactId>
            <version>2.6.3</version>
        </dependency>
		<dependency>
			<groupId>org.slf4j</groupId>
			<artifactId>slf4j-api</artifactId>
			<version>1.7.5</version>
		</dependency>
		<dependency>
			<groupId>org.slf4j</groupId>
			<artifactId>jcl-over-slf4j</artifactId>
			<version>1.7.12</version>
		</dependency>
		<dependency>
			<groupId>org.slf4j</groupId>
			<artifactId>log4j-over-slf4j</artifactId>
			<version>1.7.12</version>
		</dependency>
		<dependency>
			<groupId>ch.qos.logback</groupId>
			<artifactId>logback-core</artifactId>
			<version>1.0.13</version>
		</dependency>
        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
            <version>1.0.13</version>
        </dependency>
		<dependency>
			<groupId>ch.qos.logback</groupId>
			<artifactId>logback-access</artifactId>
			<version>1.0.13</version>
		</dependency>
		<dependency>
			<groupId>org.logback-extensions</groupId>
			<artifactId>logback-ext-spring</artifactId>
			<version>0.1.2</version>
			<scope>compile</scope>
		</dependency>

在logback.xml文件中添加一个appender： 

<!--logstash-->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>172.30.194.180:9250</destination>
        <!-- encoder必须配置,有多种可选 -->
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
    </appender>

加入到需要监控的logger中： 

  <!-- logstash-->
    <logger name="com.qccr.nebula.biz.facade.FileUploadFacadeImpl" level="INFO">
        <appender-ref ref="LOGSTASH"/>
    </logger>

项目需要改的就这么多，然后我们在logstash刚才的安装根目录下，bin下面创建一个配置文件 

vim bin/logstash.conf 


input {
tcp {
    ##host:port就是上面appender中的 destination，这里其实把logstash作为服务，开启9250端口接收logback发出的消息
    host => "172.30.194.180"
    port => 9250
    #模式选择为server
    mode => "server"
    tags => ["tags"]
    ##格式json
    codec => json_lines
  }
 }
output {
  stdout { codec => rubydebug }
#这里是es的地址
elasticsearch { hosts => "172.30.194.180:9200" }
}

保存以后，在bin下面以配置文件方式启动logstash 

./logstash -f logstash.conf

刚才的es应该被你关了，所以也要去es的根目录下面启动下es 

./bin/elasticsearch

4.测试

接下去在java中写个测试用例，我们这边用结合spring项目做得测试，你们可以自己写，但需要把logback的配置用进去，切记





这里只是为了用log打出“imptest”，运行一下测试用例,跑完，确定没有错误以后，进es的head插件查看，发现日志已经记录进去了，完工了


（若head插件没装，我们可以通过输入下面指令查看es结果）

curl http://172.30.194.180:9200/_search?pretty


参考文章:

http://blog.csdn.net/cj2580/article/details/52416044

http://www.sojson.com/blog/81.html

http://www.jianshu.com/p/db2196991a00

Joker大大
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
SpringBoot项目中日志控制，配置logback（logback.xml的配置及介绍）
虽千万人,吾往矣
02-17 4390
SpringBoot项目中对日志的处理手动控制，这是我整理的logback.xml文件内容，直接复制copy使用即可，里面有详细的注释使用，如果是单模块，就在java同层级的resoures目录下（存放application.yml那个目录下）新建一个logback.xml，重启服务即可生效。SpringBoot项目配置logback理论上需要添加logback-classic依赖jar包： 但是因为SpringBoot项目默认就是使用的就是logback日志系统
logstash与logback集成
weixin_43960336的博客
04-15 6592
上篇介绍了springcloud与ELK的集成，其中logstash相当于是Elasticsearch与Kibana连接的桥梁工具，今天来实现logstash与logback的集成，实现日志信息直接通过logstash发送到ES 1.安装logstash 还是在bin目录下新建一个conf文件夹再新建一个log-es.conf配置文件 配置信息如下： input { tcp { m...
Elasticsearch集群和Logstash、Kibana部署
最新发布
weixin_45814478的博客
05-23 1344
Logstash运行同样依赖jdk，本次为节省资源，故将Logstash安装在了10.3.145.14节点。，如果head和ES不在同一个节点，注意修改成ES的IP地址。（3）设置JVM堆大小#7.0默认为4G。（4）创建ES数据及日志存储目录。（5）修改安装目录及存储目录权限。（4）启动遇到下面问题解决办法。（1）创建运行ES的普通用户。（5）下载head必要的文件。2、启动后直接在终端输入数据。（1）增加最大文件打开数。（3）增加最大内存映射数。（2）下载head插件。（4）修改head源码。
【Logstash】日志处理-Logstash的使用
上官玺的博客
10-07 4054
日志可以协助我们的调试和开发。在开发中尽量使用日志的方式来调试，是我们推荐的做法。尽量避免使用System.out.println. 因为很多时候我们调试完毕都要进行删除调试代码。留下会给程序增加运行时间。而日志可以很方便的控制级别就可以控制是否输入，而支持存储的形态很多。比如数据库，文件等。所以日志是我们开发中必不可少的一环。如果级别是：debug ，debug和 info以及error都会输出如果级别是：info ，那么只会打印初：info和error。
关于” 记一次logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引” 这篇博客相关的优化采坑记录...
dianhe7741的博客
05-25 412
之前写过一篇博客是关于记录日志的简单方式的 主要就是 应用->redis->logstash->elasticsearch 整个流程的配置方法和过程的 https://www.cnblogs.com/zhyg/p/6994314.html 记一次logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引 虽然我们部分线上应用...
logback集成logstash实现日志远程采集
感谢关注点赞，笔芯啾咪！
07-03 1104
实现需求：在使用logback的spring项目中，每次使用log.info，log.warn或者log.error的时候自动把这条日志的基础信息和本机相关的信息发送到logstash并且使用logstash转存给Elasticsearch。注意：本期为基础版本，旨在能实现基础功能，所有的参数均为文件写死，若实现动态参数的话，参考下一篇:logback集成spring和nacos实现动态配置（待续）
Spring Boot 使用 logback、logstash、ELK 记录日志文件的方法
08-28
ELK 是一个基于 Elasticsearch、Logstash 和 Kibana 的日志记录解决方案。 在 Spring Boot 中，可以使用 logstash 和 ELK 记录日志文件。首先，需要在 pom.xml 文件中添加 logstash 依赖项： <groupId>...
SpringBoot继承LogStash实现日志收集的方法示例
08-26
启动 SpringBoot 服务，在 Kibana 配置日志拦截器输入 LogStash 日志配置的名称，选择带时间戳过滤器，点击左侧 Discover 菜单，已经发现数据已经展现。 本文主要介绍了 SpringBoot 继承 LogStash 实现日志收集的...
StirngBoot+ELK+Kafka记录日志，超详细搭建过程！
01-20
整个流程的核心是，SpringBoot应用通过Logback将日志写入Kafka，Logstash消费Kafka中的日志，经过过滤和处理后，将日志推送到Elasticsearch，最后Kibana从Elasticsearch中获取数据并展示在Web界面上，形成一个完整的...
spring-boot-microservice-eureka-zuul-docker：使用Eureka，Zuul和Docker的Spring-Boot其余微服务。 使用logstash，logback，elasticsearch和kibana进行监视
01-30
使用Spring Cloud，EUREKA，RIBBON，ZUUL的Spring Boot微服务 创建该项目是为了获得使用Netflix OSS进行微服务的经验。 这是一个简单的项目，由具有简单业务需求的编码命令式编程组成。 从1.1.0版开始，ELK Stack已...
扩展logback将日志输出到Kafka实例源码
01-23
通过将日志输出到Kafka，可以方便地将这些日志与其他系统集成，如ELK（Elasticsearch、Logstash、Kibana）堆栈，实现日志的集中收集、分析和检索。 总之，扩展Logback将日志输出到Kafka是一种常见的日志管理实践，...
Elasticsearch-核心篇(12)-SpringBoot整合Logback&ES进行日志采集
TianXinCoord的博客
08-24 1970
文章目录一、Logback整合Elasticsearch二、logback-elasticsearch-appender 一、Logback整合Elasticsearch 基础环境信息参考上一节文章配置好 添加logback和Elasticsearch整合日志依赖 源码地址：https://gitee.com/tianxincoord/logback-elasticsearch-appender <dependency> <groupId>com.interneti
从零开始SpringCloud Alibaba电商系统(十三)——ElasticSearch介绍、logback写入ES
D的博客
05-20 1235
文章目录零、系列一、需求简述二、ElasticSearch简介三、ElasticSearch REST基本操作四、demo地址 零、系列 欢迎来嫖从零开始SpringCloud Alibaba电商系列: 从零开始SpringCloud Alibaba电商系统(一)——Alibaba与Nacos服务注册与发现 从零开始SpringCloud Alibaba电商系统(二)——Nacos配置中心 从零开始SpringCloud Alibaba电商系统(三)——Sentinel流量防卫兵介绍、流量控制demo 从
spring日志输出到elasticsearch
IT从业者
11-30 1156
spring日志输出到elasticsearch
elk + logback搭建
smile_boyyy的博客
08-19 1764
Linux 搭建ELK日志采集记录 架构 ​ Logback ->Logstash ->elasticsearch -> kibana ​ 分布式环境，通过logback发送日志到logstash，再由logstash将采集到的日志发送到Elasticsearch，使用kibana进行查询采集到的日志。 安装 ​ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eZjK0YeC-1629336554053)(C:\Users\huyonghao\App
spring项目logback日志与logstash和Elasticsearch整合
weixin_38166726的博客
09-26 989
原创/朱季谦 最近在做一个将分布式系统的日志数据通过logstash传到kafka的功能，做完之后决定业余搭一个ELK日志分析系统，将logstash采集到的日志传给Elasticsearch。经过一番捣鼓，也把这个过程给走通了，于是写了这篇总结，可按照以下步骤搭建logstash采集spring日志数据并传输给Elasticsearch。 首先，logstash是一个开...
Logstash配置详解
热门推荐
u012017645的专栏
10-17 2万+
Logstash配置详解
SpringBoot+elasticsearch+JerseyRESTful +redis博客系统
09-11
包含技术Linux、Redis、spring boot、文件上传下载、FreeMarker、thymeleaf、spring jdbc、Spring Data JPA、 MyBatis、 Mybatis Generator逆向生成、CKEditor、AJAX异步上传文件、Jersey实现应用服务器和文件服务器分离、Elasticsearch
(七) elasticsearch手把手搭建生产环境ELK之logstash监控logback所有日志.
qq_25933841的博客
02-26 575
我们已经有了kafka记录请求和响应以及异常日志...但是对于项目中的一些打印日志我们想全部获取,可以利用logback输出到logstash中去. 首先项目中集成logback的依赖 <!--Logback to elk--> <!-- https://mvnrepository.com/artifact/net.logstash.logback/logstash-...
logback-spring.xml 配置 filebeat
07-16
首先，确保已经在系统中安装并配置好了 filebeat，可以通过下载官方网站提供的 filebeat 安装包并按照提示进行安装，然后在 filebeat.yml 文件中配置好需要收集的日志文件路径和目标 Logstash 或 Elasticsearch ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值