Linux下ELK安装

最新推荐文章于 2023-12-26 19:46:44 发布

god_mycode

最新推荐文章于 2023-12-26 19:46:44 发布

阅读量615

点赞数 2

文章标签： linux elk 运维

本文链接：https://blog.csdn.net/god_mycode/article/details/131834722

版权

1.ES安装

1.1创建文件夹

1.2下载es

1.2.1 可以直接在linux使用wget直接下载

1.ES安装

es版本使用elasticsearch-7.1.1-linux-x86_64.tar.gz

1.1创建文件夹

/home下创建文件夹software

[root@localhost home]# ls
esb
[root@localhost home]# mkdir sotfware
[root@localhost home]# ls
esb sotfware
[root@localhost home]#

1.2下载es

1.2.1 可以直接在linux使用wget直接下载

[root@localhost /]# cd /home/sotfware/
[root@localhost sotfware]# ls
[root@localhost sotfware]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz

1.2.2 .windows迅雷下载

如果linux下载太慢，直接使用迅雷下载好后直接使用，下载地址https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz

下载完后直接上传到/home/software目录

1.3 解压安装

解压到/usr/local下。

tar -zxvf elasticsearch-7.1.1-linux-x86_64.tar.gz -C /usr/local

1.3.1 JDK冲突解决

linux7版本本身自带了jdk环境，如果系统没有配置，则会使用自己所带的jdk版本。

如果linux本身配置了java环境，es会使用linux系统配置的java环境。此时，如果和版本不对应可能会发生冲突。解决办法：此处参考ELK详细安装部署_elk安装_xuan ~的博客-CSDN博客

vi /usr/local/elasticsearch-7.1.1/bin/elasticsearch

添加如下：

############## 添加配置解决jdk版本问题 ##############

# 将jdk修改为es中自带jdk的配置目录

export JAVA_HOME=/usr/local/elasticsearch-7.1.1/jdk
export PATH=$JAVA_HOME/bin:$PATH
if [ -x "$JAVA_HOME/bin/java" ]; then
JAVA="/usr/local/elasticsearch-7.1.1/jdk/bin/java"
else
JAVA=`which java`
fi

具体位置如下

1.3.2 参数调节

1.3.2.1 jvm参数调节

vi /usr/local/elasticsearch-7.1.1/config/jvm.options

默认1g

-Xms1g
-Xmx1g

根据自己机器实际进行调节

-Xms512m
-Xmx512m

1.3.2.2 配置调节

vi /usr/local/elasticsearch-7.1.1/config/elasticsearch.yml

#集群名称本次单节点运行可以不管

#cluster.name: my-application

#本节点名称

node.name: node-1

#可以被谁访问设置成0.0.0.0可以被任何机器访问

network.host: 0.0.0.0

#http的对外接口

http.port: 9200

#集群初始化主节点

cluster.initial_master_nodes: ["node-1"]

1.3.3 创建用户和组

创建名称为es的用户和组

useradd -m es

将elasticsearch文件夹权限给es用户

chown es:es -R /usr/local/elasticsearch-7.1.1

1.3.4 启动es

切换到用户es,并且启动

[root@localhost ~]# su es
[es@localhost root]$ cd /usr/local/elasticsearch-7.1.1/bin/

#启动
[es@localhost bin]$ ./elasticsearch

#后台启动

[es@localhost bin]$./elasticsearch -d

1.3.5 系统配置

切换到root用户进行配置

vi /etc/security/limits.conf 添加以下配置

* hard nofile 65535
* soft nofile 65535

* soft nproc 4096
* hard nproc 4096

vi /etc/sysctl.conf添加以下配置

vm.max_map_count=262144

如果系统没有提前配置，则启动报错解决

默认情况下启动时候会报错

[3] bootstrap checks failed
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
[2]: max number of threads [3795] for user [es] is too low, increase to at least [4096]
[3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决办法：

1）max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

表示每个进程最大同时打开文件数太小，可通过下面2个命令查看当前数量

linux下输入以下命令查看：
[es@localhost logs]$ ulimit -Hn
4096
[es@localhost logs]$ ulimit -Sn
1024
[es@localhost logs]$
切换到root用户

vi /etc/security/limits.conf

添加：

* hard nofile 65535
* soft nofile 65535

如下：

切换到es用户，测试如下
[es@localhost logs]$ ulimit -Hn
65535

2）max number of threads [3818] for user [es] is too low, increase to at least [4096]

最大线程个数太低。（同上）同样修改 /etc/security/limits.conf

Linux使用以下命令查看线程最大个数：

ulimit -Hu
ulimit -Su

切换到root用户

vi /etc/security/limits.conf

添加：

* soft nproc 4096
* hard nproc 4096

即可解决验证方法和1）相同

3） max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

修改/etc/sysctl.conf文件，增加vm.max_map_count=262144

[root@localhost etc]# vi sysctl.conf 
[root@localhost etc]# sysctl -p
vm.max_map_count = 262144

此时再次启动，上面三个问题不在出现，如果仍然存在可考虑重新启动服务系统解决

1.4 es启动成功验证

打开浏览器访问：http://ip:9200/

返回如下，说明安装成功。

2.kibana安装

2.1 下载

下载方法可以是linux wget直接下载，也可以迅雷下载下来上传。同es下载一样，此处保证kibana的版本要和es一致

下载地址 https://artifacts.elastic.co/downloads/kibana/kibana-7.1.1-linux-x86_64.tar.gz

2.2 解压安装

root用户登录：

[root@localhost /]# cd /home/sotfware/[root@localhost sotfware]# ll
total 502524
-rw-rw-rw-. 1 root root 346794062 Jul 21 01:05 elasticsearch-7.1.1-linux-x86_64.tar.gz
-rw-rw-rw-. 1 root root 167785446 Jul 21 05:28 kibana-7.1.1-linux-x86_64.tar.gz
[root@localhost sotfware]# tar -zxvf kibana-7.1.1-linux-x86_64.tar.gz

解压完后更改kibana权限为es权限，方便以后启动使用es用户启动根据实际情况而定

2.3.修改配置文件

vi /home/sotfware/kibana-7.1.1-linux-x86_64/config/kibana.yml

#对外暴漏的端口

server.port: 5601

#那些机器可以访问 0.0.0.0代表都可以访问

server.host: "0.0.0.0"

#链接es的信息

elasticsearch.hosts: ["http://localhost:9200"]

#kibana在es中创建的索引如果不存在自动创建

kibana.index: ".kibana"

2.4 启动验证

切换到es用户下

[es@localhost /]$ cd /home/sotfware/kibana-7.1.1-linux-x86_64/bin
[es@localhost bin]$ nohup ./kibana &

页面访问 http://192.168.110.135:5601/

出现下面页面，就代表安装成功：

3.logstash安装

3.1 下载

下载方法可以是linux wget直接下载，也可以迅雷下载下来上传。同es下载一样，此处保证logstash的版本要和es一致

下载地址 https://artifacts.elastic.co/downloads/logstash/logstash-7.1.1.tar.gz

3.2 解压安装

root用户登录：

[root@localhost ~]# cd /home/sotfware/
[root@localhost sotfware]# ls
elasticsearch-7.1.1-linux-x86_64.tar.gz kibana-7.1.1-linux-x86_64 kibana-7.1.1-linux-x86_64.tar.gz logstash-7.1.1.tar.gz
[root@localhost sotfware]# tar -zxvf logstash-7.1.1.tar.gz

解压后给赋权给es用户

3.3 ELK收集系统标准日志

3.3.1 创建配置文件

一般logstash 遵循 输入---->过滤---->输出的过程

cd /home/sotfware/logstash-7.1.1/config

vi sc.conf

将以下内容粘贴进去

# 输入插件类型为stdin 控制台输入
input { stdin { } }

# 指定了elasticsearch和stdout两个输出插件
output {
elasticsearch { hosts => ["localhost:9200"] }
stdout { codec => rubydebug }
}

3.3.2 启动logstash

在bin目录下启动

./logstash -f ../config/sc.conf

启动完毕输入任意的数据比如：

3.3.3 查看kibana是否收到

kibana页面配置

可以看到kibana已经收到信息

god_mycode

关注

2
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
Linux下ELK安装

如果linux下载太慢，直接使用迅雷下载好后直接使用，下载地址https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz。下载地址 https://artifacts.elastic.co/downloads/logstash/logstash-7.1.1.tar.gz。linux7版本本身自带了jdk环境，如果系统没有配置，则会使用自己所带的jdk版本。
复制链接

扫一扫