ELK搭建及Java程序接入

已于 2022-09-06 13:47:23 修改
阅读量8.4k 收藏 16
点赞数 2
分类专栏： java server elk 文章标签： elk logstash kibana elasticsearch
于 2019-06-19 15:33:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/whq12789/article/details/92832436
版权
java 同时被 3 个专栏收录
61 篇文章 0 订阅
订阅专栏
server
6 篇文章 0 订阅
订阅专栏
elk
6 篇文章 1 订阅
订阅专栏

环境

centos7.5

下载

官网下载Elasticsearch、Logstash、Kibana

Free and Open Search: The Creators of Elasticsearch, ELK & Kibana | Elastic

下载 Elastic 产品 | Elastic

我下载的都是7.1.1版本，最好统一版本

（注意，这几个都是试用版，过一段时间会过期，如果需要长期使用，得下载oss版本）


点击产品下面的下载按钮（有的在“在ElasticCloud上启用下面”），进入下载页面，再点击
The pure Apache 2.0 licensed distribution is available here.
这行内容的here，跳转到OSS版本下载地址，点击downloads段落的LINUX，下载linux版本。
可以点击Not the version you're looking for? View past releases.这行的past releases找到历史版本。

或者直接进入到历史版本下载页面
https://www.elastic.co/downloads/past-releases
Products产品依次选择ElasticSearch OSS、Logstash OSS、Kibana OSS，Versions版本选择特定的版本。
点击下载后进入系统选择页面，选择LINUX的进行下载即可。

关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

安装elasticsearch

在 Linux 环境中，elasticsearch 不允许以 root 权限来运行。

如果以 root 身份运行 elasticsearch，会提示这样的错误：

can not run elasticsearch as root

解决方法：使用非 root 权限账号运行 elasticsearch

# 创建用户组

groupadd elk

# 创建新用户，-g elk 设置其用户组为 elk，-p elk 设置其密码为 elk

useradd elk -g elk -p elk

# 更改 /opt 文件夹及内部文件的所属用户及组为 elk:elk

chown -R elk:elk /opt # 假设你的 elasticsearch 安装在 opt 目录下

# 切换账号

su elk

解压elasticsearch

tar xzvf elasticsearch-7.1.1-linux-x86_64.tar.gz

运行

cd elasticsearch-7.1.1

bin/elasticsearch

测试

curl http://localhost:9200

默认只能用localhost访问，如需开启外部访问，需修改配置

vi config/elasticsearch.yml

去掉network.host的注释并修改为本机ip

network.host: 0.0.0.0

discovery.seed_hosts: ["127.0.0.1","[::1]"]

此时启动可能会报错

ERROR: [3] bootstrap checks failed

[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

如果不配置discovery.seed_hosts会报错

[3]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured

vm.max_map_count 不低于 262144

问题：vm.max_map_count 表示虚拟内存大小，它是一个内核参数。elasticsearch 默认要求 vm.max_map_count 不低于 262144。

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决方法：

你可以执行以下命令，设置 vm.max_map_count ，但是重启后又会恢复为原值。

sysctl -w vm.max_map_count=262144

持久性的做法是在 /etc/sysctl.conf 文件中修改 vm.max_map_count 参数：

echo "vm.max_map_count=262144" > /etc/sysctl.conf sysctl -p

nofile 不低于 65536

问题： nofile 表示进程允许打开的最大文件数。elasticsearch 进程要求可以打开的最大文件数不低于 65536。

解决方法：

echo "* soft nofile 65536" > /etc/security/limits.conf

echo "* hard nofile 131072" > /etc/security/limits.conf

reboot重启后即可正常启动

后台启动

nohup bin/elasticsearch > service.out&

跟踪后台启动的输出

tail -f service.out

看进程

[elk@localhost xx]$ ps -ef|grep opt

elk 2095 1750 11 13:42 pts/0 00:02:51 /opt/elasticsearch-7.1.1/jdk/bin/java -Xms1g -Xmx1g -XX:+UseConc……/opt/elasticsearch-7.1.1/lib/* org.elasticsearch.bootstrap.Elasticsearch

elk 2183 2095 0 13:42 pts/0 00:00:00 /opt/elasticsearch-7.1.1/modules/x-pack-ml/platform/linux-x86_64/bin/controller

Logstash

解压

tar xzvf logstash-7.1.1.tar.gz

运行

cd logstash-7.1.1

bin/logstash -f config/logstash-sample.conf

或后台启动

nohup bin/logstash -f config/logstash-sample.conf > service.out&

如果没有JAVA_HOME，需设置JAVA_HOME，注意使用root用户

vi /etc/profile

添加如下内容

export JAVA_HOME=/opt/elasticsearch-7.1.1/jdk

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

配置立即生效执行

source /etc/profile

看进程

$ ps -ef|grep opt

elk 2460 2317 68 14:01 pts/1 00:03:37 /opt/elasticsearch-7.1.1/jdk/bin/java ……/opt/logstash-7.1.1/logstash-core/lib/jars/slf4j-api-1.7.25.jar org.logstash.Logstash -f config/logstash-sample.conf

Kibana

解压

tar xzvf kibana-7.1.1-linux-x86_64.tar.gz

cd kibana-7.1.1-linux-x86_64

需要修改elasticsearch的ip端口则改一下配置

vi config/kibana.yml

去掉这两行的注释并修改

server.host: "192.168.91.149" #需修改才能从其他机器访问

elasticsearch.hosts: ["http://localhost:9200"]

运行

bin/kibana

或后台启动

nohup bin/kibana > service.out&

访问地址

http://localhost:5601

看进程

[elk@localhost kibana-7.1.1-linux-x86_64]$ ps -ef |grep node

elk 2658 1750 99 14:09 pts/0 00:00:12 bin/../node/bin/node --no-warnings --max-http-header-size=65536 bin/../src/cli

Java日志输出到Logstash

cd logstash-7.1.1

vi config/logstash.conf

添加如下内容

input {
  beats {
    port => 5044
  }
  tcp {
    # host:port就是上面appender中的 destination，
    # 这里其实把logstash作为服务，开启9250端口接收logback发出的消息
    host => "0.0.0.0" port => 9250 mode => "server" tags => ["tags"] codec => json_lines
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
  }
}

kill掉原来的logstash后启动

nohup bin/logstash -f config/logstash.conf > service.out&

Java代码修改

pom.xml增加依赖

<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>6.1</version>
</dependency>

logback.xml按需调整

<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
    <!--
    destination 是 logstash 服务的 host:port，
    相当于和 logstash 建立了管道，将日志数据定向传输到 logstash
    -->
    <destination>192.168.91.149:9250</destination>
    <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
</appender>
<root level="INFO">
    <!-- appender referenced after it is defined -->
    <appender-ref ref="STDOUT"/>
    <appender-ref ref="LOGSTASH" />
</root>

此时启动java程序，如果启动成功，日志就进入es了

日志查看

进入kibana web页面

点击左侧Discover按钮，会自动进入创建索引，创建索引logstash-*

点击下一步Next step

Time Filter field name选择@timestamp，点击Create index pattern按钮等待创建索引成功

此时再次点击左侧Discover按钮，进入熟悉的索引查询页面了

区分应用

实际应用过程中，多个app日志混在一起，需要增加额外入库字段进行区分，此时修改java程序的logback.xml，添加customFields配置节即可。

<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
    <!--
    destination 是 logstash 服务的 host:port，
    相当于和 logstash 建立了管道，将日志数据定向传输到 logstash
    -->
    <destination>192.168.91.149:9250</destination>
    <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
        <customFields>{"appname":"whqtest"}</customFields>
    </encoder>
</appender>

logback.xml也可以采用变量的写法

<configuration>
	<!-- 项目的appid -->
	<property name="APP_ID" value="whqtest"/>
	………………
	<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
	    <!--
	    destination 是 logstash 服务的 host:port，
	    相当于和 logstash 建立了管道，将日志数据定向传输到 logstash
	    -->
	    <destination>192.168.91.149:9250</destination>
	    <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
	        <customFields>{"appname":"${APP_ID}"}</customFields>
	    </encoder>
	</appender>
	………………
</configuration>

OSS版本

一段时间后启动kibana报错

Elasticsearch cluster did not respond with license information.

需要下载oss版本

https://www.elastic.co/cn/downloads/elasticsearch-oss

Download Logstash Free | Get Started Now | Elastic

https://www.elastic.co/cn/downloads/kibana-oss

OSS版部署问题

如果连接es超时

vi es的目录/config/jvm.options

增大-Xms和-Xmx到2g

增大es连接超时时间

vi config/kibana.yml

elasticsearch.requestTimeout: 90000

连接es返回错误：master_not_discovered_exception

es服务器修改

vi /etc/hostname 设置机器名为node1

node1

vi /etc/hosts

127.0.0.1 node1

vi es目录/config/elasticsearch.yml

node.name: node1

discovery.seed_hosts: ["127.0.0.1"]

cluster.initial_master_nodes: ["node1"]

草宝虫
关注
  • 2
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
ELK日志分析平台搭建全过程
02-24
当生产环境有很多服务器、很多业务模块的日志需要每时每刻查看时系统：centos6.5JDK：1.8Elasticsearch-5.0.0Logstash-5.0.0kibana-5.0.01、安装JDK下载JDK：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html本环境下载的是64位tar.gz包，将安装包拷贝至安装服务器/usr/local目录[root@localhost~]#cd/usr/local/[root@localhostlocal]#tar-xzvfjdk-8u1
ELK详细搭建及使用笔记word文档
11-15
ELK详细搭建及使用笔记word文档，包含所需文件下载地址。通过ELK（ElasticSearch + LogStash + Kibana = ELKStack），轻松几步搭建ELK环境，对数据进行实时监控和分析。 Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速，近实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和需求的应用程序的底层引擎/技术。 Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。 Kibana：Web前端，可以将ElasticSearch检索后的日志转化为各种图表，为用户提供数据可视化支持。
ELK性能优化实战总结，java开发面试简历模板java
最新发布
m0_61549740的博客
03-01 853
16. 反转链表（比如1->2->3->4->5->6->7，当k=3的时候结果是3->2->1->6->5->4->7)为了让大家能够在Redis上能够加深，所以这次给大家准备了一些Redis的学习资料，还有一些大厂的面试题，包括以下这些面试题。（我说是List吗）是，（了解ArrayList和LinkedList），那你说说他们的区别？15. 再写一个，给你一个链表和一个整数k（k大于等于0，小于等于链表长度，链表长度未知），按k步。Redis常见面试题汇总（300+题）Mysql面试题汇总（一）
浅谈Node框架接入ELK实践总结
10-17
主要介绍了浅谈Node框架接入ELK实践总结，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
使用ELK搭建日志集中分析平台实践
01-27
Elasticsearch+Logstash+Kibana（ELK）是一套开源的日志管理方案，分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统计，但是当网站访问异常或者被攻击时我们需要在后台分析如Nginx的具体日志，而Nginx日志分割/GoAccess/Awstats都是相对简单的单节点解决方案，针对分布式集群或者数据量级较大时会显得心有余而力不足，而ELK的出现可以使我们从容面对新的挑战。Logstash：负责日志的收集，处理和储存Elasticsearch：负责日志检索和分析Kibana：负责日志的可视化ELK(Elasticsearch+
ELK生态系统——Java集成
LSY_CSDN_的博客
06-12 1133
目录 1、客户端类型选择： （1）客户端介绍： A、REST API： B、Transport连接： C、多种编程语言客户端： （2）Java REST Client重点介绍： A、Java Low Level REST Client: B、Java High Level REST Client: （3）强烈推荐使用客户端： A、使用说明： B、项目集成： C、客户端初...
Java开发 - ELK初体验
CodingFire的博客
03-19 2560
ELK是如今比较流行的一套框架，主要用于日志的采集保存和查询。线上情况，我们不能通过控制台来实时查看，但却可以通过日志输出来定位问题，查看必要的信息。如果保存成文件，也必然是极庞大的体量，并不适合我们去翻看，查找信息，这才有了ELH，其实对于ELK，大家也并不陌生，其中的E，就是我们前段时间学习的ES，全名Elasticsearch，中文名：全文搜索引擎。是不是很惊喜和意外？所以当然，L和K也是两个单独的系统，他们统称为ELK，下面，我们将逐一介绍这三个东西是什么。如果自己做，还是推荐官方的做法。
ELK 基础使用 Java操作elasticseach （四）
qq_50909707的博客
09-18 2122
可以看到运行代码之前customer文档索引是不存在的。再次查询，可以查询到对应文档索引了，证明代码执行成功。通过ApiPost查询可以看到如下数据文档列表。再次查询，可以看到查询失败，证明删除成功。再次查询user的id为1004的文档。可以看到之前批量插入的数据都获取到了。可以看到过滤后只剩下name字段。首先模拟插入数据以便后面的查询。可以看到sex已局部更新。可以看到该索引已被找到。可以看到条件查询的数据。可以看到数据已经更新。可以看到文档查询成功。可以看到批量插入成功。可以看到分页查询成功。
ELK日志分析系统
tgzh123的博客
04-07 413
ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Loastash 和Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。提高安全性集中存放日志缺陷：对日志的分析困难ELK日志分析系统是基于Lucene (一个全文检索引擎的架构) 开发的分布式存储检索引擎，用来存储各类日志。是用 Java 开发的，可通过 RESTful Web接口，让用户可以通过浏览器与 Elasticsearch 通信。
Java基础之《微服务（12）—服务跟踪ELK》
csj50的专栏
06-12 1180
一、ELK介绍1、elasticSearch 是一个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。2、logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式（支持以TCP/UDP/HTTP多种方式收集数据）。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作，再一并发往elastic
Spring Data Elasticsearch(java操作ELK)
weixin_53455615的博客
12-10 1567
uris: http://192.168.8.128:9200 # ES服务器所在位置。集群多节点地址用逗号分隔。默认http://localhost:9200。# data: # ElasticsearchTemplate客户端配置。# cluster-nodes: 192.168.137.128:9300 # ES集群多节点地址。多个地址用逗号分隔。# cluster-name: docker-cluster # ES集群的名称。# 注意： 地址一定不要有末尾字符 '/'
Java配置39-搭建ELK服务器
JustDI0209的博客
08-29 2324
目录 1.服务器环境 2.安装JDK 3.安装elasticsearch 2）修改配置文件 3）修改系统参数 4）设置资源参数 5）设置用户资源参数 6）创建数据和日志目录 7）启动elasticsearch 4.安装logstash 1）安装 2）创建配置文件 2）启动logstash 5.安装kibana 1）安装 2）修改配置文件 3）启动kibana .........
ELK日志收集系统调研(五) -- ElasticSearch Java接口
iov_aaron的专栏
04-13 2279
在研究ELK日志收集系统时，顺便对于ElasticSearch的javaapi了解了下。 于是将自己写的测试代码上传做个备注。Fileinfo.java 构造数据类，模拟的是文件的具体信息。package com.elastic;import java.io.File; import java.io.IOException; import java.util.Date;import org.el
ELK生态系统——JAVA与ES常见交互操作
LSY_CSDN_的博客
06-12 941
目录 （1）创建索引： A、创建索引请求： B、索引setting设置： C、索引mapping设置： D、索引别名设置： E、发送请求： F、处理响应： （2）增加单个数据： A、创建索引请求： B、创建文档数据： C、发送请求： D、处理响应： （3）增加批量数据： A、创建索引请求： B、创建文档数据： C、发送请求： D、处理响应： （4）修改数据： ...
ELK分布式事务管理——SkyWalking（java接入）
好幸运
09-08 1974
先看文档：https://www.jianshu.com/p/2fd56627a3cf 一、安装ElasticSearch 传送门：https://blog.csdn.net/qq_16946803/article/details/108470977 在启动 SkyWalking 之前，确保 Elasticsearch 已启动 二、下载SkyWalking 传送门：http://skywalking.apache.org/zh/downloads/ ...
ELK安装手册及应用接入说明
张三与王二麻子
12-12 376
一、概述 日志工具ELK，负责容器应用的日志收集，提供统一查看、检索功能。 二、ELK安装(集群版) 1、准备安装包 logstash-7.2.0.tar.gz kibana-7.2.0-linux-x86_64.tar.gz kafka_2.12-2.3.0.tgz elasticsearch-7.2.0-linux-x86_64.tar.gz zookeeper-3.4.14.tar 上传到服...
ELK安装+Filebeat收集java日志
weixin_45112997的博客
07-13 1583
elfk收集java日志
java elk_ELK 和 JAVA 的集成
weixin_34082139的博客
02-15 1246
ELK 的各个组件中，其中 Elasticsearch 和 Logstash 的运行是要依赖于 JAVA 的运行环境的。也就是说部署 ELK 平台之前，JAVA 是先要安装好的，在这里，我将 ELK 和 JAVA 集成遇到的问题和解决方法也总结并罗列出来如下：Elasticsearch 和 JAVA 的集成Elasticsearch 2.1.1 之前版本和 IBM J9 JDK 的集成有好多 bu...
JAVA进阶之路-ELK搭建以及使用
阿猪的博客
06-20 960
首先说下为啥要写ELK,刚进公司，因为公司以前有项目说是缺少日志系统，需要搭建一个ELK,所以就开始了我的摸坑之旅。下面进入正文。 ELK需要支持的技术有以下： 1、Elasticsearch（以下简称为es） 主要用于存入日志以及查询日志,为啥不用mysql存储查询呢,别问，问就是效率问题。(这个要说的太多,大家自己去慢慢查资料吧) 2、Log...
ELK 平台搭建及生产使用
09-06
要搭建和使用ELK平台，您需要按照以下步骤进行操作： 1. 安装和配置Elasticsearch：首先，您需要安装Elasticsearch。您可以从官方网站下载适用于您的操作系统的包，并按照官方文档中的指南进行安装。安装完成后，您需要进行一些基本的配置，如设置集群名称和节点名称。 2. 安装和配置Logstash：Logstash 是一个用于数据收集、处理和传输的工具。您可以从官方网站下载适用于您的操作系统的包，并按照官方文档中的指南进行安装。安装完成后，您需要配置Logstash来定义输入、过滤器和输出，以便从不同的数据源收集日志数据并将其发送到Elasticsearch。 3. 安装和配置Kibana：Kibana 是一个用于数据可视化和分析的工具。您可以从官方网站下载适用于您的操作系统的包，并按照官方文档中的指南进行安装。安装完成后，您需要配置Kibana来连接到Elasticsearch，并创建可视化仪表板、图表和搜索查询等。 4. 配置和优化ELK集群：一旦您完成了Elasticsearch、Logstash和Kibana的安装和配置，您可以开始进行集群配置和优化。您可以调整Elasticsearch集群的硬件资源分配，配置索引和搜索的优化参数，以满足您的需求。 5. 生产环境使用：在将ELK平台投入生产环境之前，您需要确保您的日志数据源正确地发送到Logstash，并且通过Kibana可以正确地进行搜索和可视化。您还应该设置适当的安全性措施，如访问控制和身份验证，以保护您的数据。 以上是搭建和使用ELK平台的一般步骤。具体操作可能因环境和需求而有所不同，建议您参考官方文档以获取更详细的指南和最佳实践。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

草宝虫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值