centos7 单节点elk6.2

最新推荐文章于 2024-06-27 18:31:45 发布
最新推荐文章于 2024-06-27 18:31:45 发布
阅读量451 收藏
点赞数
分类专栏： 日志系统 文章标签： elk6
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duanbiren123/article/details/84727408
版权

1、环境要求

CPU ：建议4核及以上核心

内存 ：建议4G及以上运行内存

硬盘 ：建议200G及以上存储空间

java版本：1.8及以上

 

# java -version

openjdk version "1.8.0_191"

OpenJDK Runtime Environment (build 1.8.0_191-b12)

OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

 

2、需要下载的文件

https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.2.tar.gz

https://download.elastic.co/logstash/logstash/logstash-6.2.2.tar.gz

https://artifacts.elastic.co/downloads/kibana/kibana-6.2.2-linux-x86_64.tar.gz

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.2-x86_64.rpm

https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-6.2.2.zip

 

x-pack试用一年的注册文件需要到官网下载，kibana注册一年之后还需要重新注册。

 

3、Es配置

 

解压

# tar -zxf elasticsearch-6.2.2.tar.gz -C /usr/local

# cd /usr/local

 

创建软链接

# ln -s elasticsearch-6.2.2  elasticsearch

 

新建启动服务账户

# groupadd elastic

# useradd -g elastic -m elastic

# passwd elastic

 

创建es日志和数据目录，并赋予权限

# mkdir -p /data/usr/elasticsearch/logs

# mkdir /data/usr/elasticsearch/data

# chown -R elastic:elastic /data/usr

 

设置最大句柄数，不设置启动es会报相应的错误

# vi /etc/sysctl.conf

vm.max_map_count = 655360

 

配置es内存参数

# vi /usr/local/elasticsearch/config/jvm.options

-Xms2g

-Xmx2g

 

修改es配置文件

# vi /usr/local/elasticsearch/config/elasticsearch.yml

cluster.name: Micro-Service-Elk

node.name: elkserver

path.data: /data/usr/elasticsearch/data

path.logs: /data/usr/elasticsearch/logs

network.host: 192.168.1.43

http.port: 9200

discovery.zen.ping.unicast.hosts: ["192.168.1.43"]

 

集群名和节点名皆可自定义

 

启动es服务

# su elastic

$ nohup /usr/local/elasticsearch/bin/elasticsearch >> /data/usr/elasticsearch/logs/elasticsearch.log&

 

查看es服务端口

$ netstat -an | grep :9200

tcp6       0      0 192.168.1.43:9200         :::*                    LISTEN

 

查看es信息

$ curl -XGET '192.168.1.43:9200/?pretty'

{

  "name" : "elkserver",

  "cluster_name" : "Micro-Service-Elk",

  "cluster_uuid" : "l0WUcZlfSSayO_vTa7D9Uw",

  "version" : {

    "number" : "6.2.2",

    "build_hash" : "10b1edd",

    "build_date" : "2018-02-16T19:01:30.685723Z",

    "build_snapshot" : false,

    "lucene_version" : "7.2.1",

    "minimum_wire_compatibility_version" : "5.6.0",

    "minimum_index_compatibility_version" : "5.0.0"

  },

  "tagline" : "You Know, for Search"

}

 

安装配置x-pack插件

# cp x-pack-6.2.2.zip /data/usr

 

# chown elastic:elastic /data/usr/x-pack-6.2.2.zip

# su elastic

$ /usr/local/elasticsearch/bin/elasticsearch-plugin install file:///data/usr/x-pack-6.2.2.zip

-> Downloading file:///data/usr/x-pack-6.2.2.zip

[=================================================] 100%

 

Continue with installation? [y/N]y

 

重启es服务

 

x-pack交互设置es、kibana和logstash_system接入密码

$ cd /usr/local/elasticsearch/bin/x-pack

$ ./setup-passwords interactive

Initiating the setup of passwords for reserved users elastic,kibana,logstash_system.

You will be prompted to enter passwords as the process progresses.

Please confirm that you would like to continue [y/N]y

 

 

Enter password for [elastic]: elastic

Reenter password for [elastic]: elastic

Enter password for [kibana]: kibana

Reenter password for [kibana]: kibana

Enter password for [logstash_system]: logstash

Reenter password for [logstash_system]: logstash

Changed password for user [kibana]

Changed password for user [logstash_system]

Changed password for user [elastic]

 

查看账户信息

$ curl -XGET -u elastic '192.168.1.43:9200/_xpack/security/user?pretty'

Enter host password for user 'elastic':

{

  "elastic" : {

    "username" : "elastic",

    "roles" : [

      "superuser"

    ],

    "full_name" : null,

    "email" : null,

    "metadata" : {

      "_reserved" : true

    },

    "enabled" : true

  },

  "kibana" : {

    "username" : "kibana",

    "roles" : [

      "kibana_system"

    ],

    "full_name" : null,

    "email" : null,

    "metadata" : {

      "_reserved" : true

    },

    "enabled" : true

  },

  "logstash_system" : {

    "username" : "logstash_system",

    "roles" : [

      "logstash_system"

    ],

    "full_name" : null,

    "email" : null,

    "metadata" : {

      "_reserved" : true

    },

    "enabled" : true

  }

}

 

查看规则信息

$ curl -XGET -u elastic '192.168.1.43:9200/_xpack/security/role'

Enter host password for user 'elastic':

{"kibana_dashboard_only_user":{"cluster":[],"indices":[{"names":[".kibana*"],"privileges":["read","view_index_metadata"]}],"run_as":[],"metadata":{"_reserved":true},"transient_metadata":{"enabled":true}},"watcher_admin":{"cluster":["manage_watcher"],"indices":[{"names":[".watches",".triggered_watches",".watcher-history-*"],"privileges":["read"]}],"run_as":[],"metadata":{"_reserved":true},"transient_metadata":{"enabled":true}},"logstash_system":{"cluster":["monitor","cluster:admin/xpack/monitoring/bulk"],"indices":[],"run_as":[],"metadata":{"_reserved":true},"transient_metadata":{"enabled":true}},"kibana_user":{"cluster":[],"indices":[{"names":[".kibana*"],"privileges":["manage","read","index","delete"]}],"run_as":[],"metadata":{"_reserved":true},"transient_metadata":{"enabled":true}},"machine_learning_user":{"cluster":["monitor_ml"],"indices":[{"names":[".ml-anomalies*",".ml-notifications"],"privileges":["view_index_metadata","read"]}],"run_as":[],"metadata":{"_reserved":true},"transient_metadata":{"enabled":true}},"remote_monitoring_agent":{"cluster":["manage_index_templates","manage_ingest_pipelines","monitor","cluster:monitor/xpack/watcher/watch/get","cluster:admin/xpack/watcher/watch/put","cluster:admin/xpack/watcher/watch/delete"],"indices":[{"names":[".monitoring-*"],"privileges":["all"]}],"run_as":[],"metadata":{"_reserved":true},"transient_metadata":{"enabled":true}},"machine_learning_admin":{"cluster":["manage_ml"],"indices":[{"names":[".ml-*"],"privileges":["view_index_metadata","read"]}],"run_as":[],"metadata":{"_reserved":true},"transient_metadata":{"enabled":true}},"watcher_user":{"cluster":["monitor_watcher"],"indices":[{"names":[".watches"],"privileges":["read"]},{"names":[".watcher-history-*"],"privileges":["read"]}],"run_as":[],"metadata":{"_reserved":true},"transient_metadata":{"enabled":true}},"monitoring_user":{"cluster":[],"indices":[{"names":[".monitoring-*"],"privileges":["read","read_cross_cluster"]}],"run_as":[],"metadata":{"_reserved":true},"transient_metadata":{"enabled":true}},"reporting_user":{"cluster":[],"indices":[],"run_as":[],"metadata":{"_reserved":true},"transient_metadata":{"enabled":true}},"kibana_system":{"cluster":["monitor","manage_index_templates","cluster:admin/xpack/monitoring/bulk","manage_saml"],"indices":[{"names":[".kibana*",".reporting-*"],"privileges":["all"]},{"names":[".monitoring-*"],"privileges":["read","read_cross_cluster"]}],"run_as":[],"metadata":{"_reserved":true},"transient_metadata":{"enabled":true}},"logstash_admin":{"cluster":[],"indices":[{"names":[".logstash*"],"privileges":["create","delete","index","manage","read"]}],"run_as":[],"metadata":{"_reserved":true},"transient_metadata":{"enabled":true}},"transport_client":{"cluster":["transport_client"],"indices":[],"run_as":[],"metadata":{"_reserved":true},"transient_metadata":{"enabled":true}},"superuser":{"cluster":["all"],"indices":[{"names":["*"],"privileges":["all"]}],"run_as":["*"],"metadata":{"_reserved":true},"transient_metadata":{"enabled":true}},"ingest_admin":{"cluster":["manage_index_templates","manage_pipeline"],"indices":[],"run_as":[],"metadata":{"_reserved":true},"transient_metadata":{"enabled":true}}}

 

查看license信息

$ curl -XGET -u elastic:elastic "http://192.168.1.43:9200/_license"

{

  "license" : {

    "status" : "active",

    "uid" : "9cd60d1a-1765-4f76-9d68-807951c2ce07",

    "type" : "trial",

    "issue_date" : "2018-11-09T06:41:05.423Z",

    "issue_date_in_millis" : 1541745665423,

    "expiry_date" : "2018-12-09T06:41:05.423Z",

    "expiry_date_in_millis" : 1544337665423,

    "max_nodes" : 1000,

    "issued_to" : "Micro-Service-Elk",

    "issuer" : "elasticsearch",

    "start_date_in_millis" : -1

  }

}

 

4、logstash配置

 

解压

# tar -xf logstash-6.2.2.tar -C /usr/local

 

建立软链接

# cd /usr/local

# ln -s logstash-6.2.2 logstash

 

验证服务

# /usr/local/logstash/bin/logstash -e 'input{stdin{}} output{stdout{}}'

hello elk! （输入）

 

出现下面输出信息则服务为正常

2018-11-09T09:38:22.062Z elkserver hello elk!

 

创建logstash日志接入接出配置文件

# cd /usr/local/logstash

# mkdir conf.d

# vi conf.d/logstash_sample.conf

input {

        beats {

                port => 5044

        }

}

output {

        elasticsearch {

                hosts => ["192.168.1.43:9200"]

                index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"

                user => "elastic"

                password => "elastic"

                sniffing => true

                manage_template => true

                document_type => "%{[@metadata][type]}"

        }

}

 

创建logstash日志和数据目录

# mkdir -p /data/usr/logstash/logs

# mkdir /data/usr/logstash/data

 

修改logstash配置文件

# vi config/logstash.yml

node.name: logstash_server

path.data: /data/usr/logstash/data

 

启动logstash服务

# nohup /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf.d/logstash_sample.conf >> /data/usr/logstash/logs/logstash.log &

 

5、配置kibana

解压

# tar -zxf kibana-6.2.2-linux-x86_64.tar.gz -C /usr/local

 

创建软链接

# cd /usr/local

# ln -s kibana-6.2.2-linux-x86_64 kibana

 

修改kibana配置文件

# cd /usr/local/kibana/config

# cp kibana.yml kibana.yml.bak

# vi kibana.yml

# 启动服务端口

server.port: 5601

# 服务ip

server.host: "192.168.1.43"

#服务名称

server.name: "elkserver"

kibana.index: ".kibana"

# es地址

elasticsearch.url: "http://192.168.1.43:9200"

# kibana用户名

elasticsearch.username: "elastic"

# kibana密码

elasticsearch.password: "elastic"

 

创建kibana日志目录

# mkdir -p /data/usr/kibana/logs

 

启动kibana服务

# nohup /usr/local/kibana/bin/kibana >>/data/usr/kibana/logs/kibana.log &

 

kibana安装x-pack插件

# cd /usr/local/kibana/bin

# ./kibana-plugin install file:///data/usr/x-pack-6.2.2.zip

 

6、filebeat安装配置

安装

# rpm -ivh filebeat-6.2.2-x86_64.rpm

 

修改filebeat配置文件

# cd /etc/filebeat/

# cp filebeat.yml filebeat.yml.bak

filebeat.prospectors:

- type: log

  enabled: true

# 要监控的日志文件地址

    - /data/webApps/tomcat/logs/tomcat.log

# 输出的logstash地址

output.logstash:

  hosts: ["192.168.1.43:5044"]

  

测试filebeat

# filebeat -e -c /etc/filebeat/filebeat.yml -d "Publish"

 

创建filebeat日志目录

# mkdir -p /data/usr/filebeat/logs

 

启动filebeat服务

# nohup filebeat -e -c /etc/filebeat/filebeat.yml >> /data/usr/filebeat/logs/filebeat.log &

 

7、配置nginx做kibana反向代理

安装nginx

 

修改nginx配置

# vi /etc/nginx/nginx.conf

        location / {

            proxy_pass            http://192.168.1.43:5601;

            proxy_redirect off;

        }

 

使nginx配置生效

# nginx -s reload

 

检查

# curl -L http://192.168.1.43:5601

# curl -L http://192.168.1.43

 

这种是直接把5601端口转到80端口，浏览器输入http://192.168.1.43，即可访问管理界面，也可以下面这种配置，更好一点

 

# vi /etc/nginx/nginx.conf

        location /kibana/ {

            proxy_set_header Host $host;

            proxy_set_header X-Real-IP $remote_addr;

            proxy_set_header REMOTE-HOST $remote_addr;

            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

            proxy_pass  http://192.168.1.43:5601/;

        }

 

# nginx -s reload

 

修改kibana配置文件

# vi /usr/local/kibana/config/kibana.yml

server.basePath: "/kibana"

 

这里的配置对应nginx中的配置/kibana/

 

重启kibana服务

 

浏览器输入http://192.168.1.43/kibana

 

登录kibana管理界面，用户和密码是之前kibana配置文件中配置的,elastic elastic

 

注册license

Management --> Elasticsearch --> License Management --> 选择文件 --> hello-mars-fb832ae0-6be0-4218-8f1c-782f14a85950-v5.json --> Upload --> Confirm

 

成功，显示

Your license will expire on October 17, 2019 7:59 AM CST.

 

 

查看license信息

$ curl -XGET -u elastic:elastic "http://192.168.1.43:9200/_license"

{

  "license" : {

    "status" : "active",

    "uid" : "fb832ae0-6be0-4218-8f1c-782f14a85950",

    "type" : "basic",

    "issue_date" : "2018-10-16T00:00:00.000Z",

    "issue_date_in_millis" : 1539648000000,

    "expiry_date" : "2019-10-16T23:59:59.999Z",

    "expiry_date_in_millis" : 1571270399999,

    "max_nodes" : 100,

    "issued_to" : "Hello Mars (Pingan)",

    "issuer" : "Web Form",

    "start_date_in_millis" : 1539648000000

  }

}

 

可以看到license已经注册完成，到期日为一年后

 

在kibana管理界面添加索引

Management --> Index Patterns --> Create Index Pattern 

输入索引名 filebeat*

 

接下来点击 Discover 就可以看到日志信息了。

我的八仙桌
关注
专栏目录
ELK安装配置学习笔记
glisten0317的博客
08-30 1152
ELK（filebeat、logstash、elasticsearch和kibana）的安装配置，监控nginx日志
centos7上单节点elk7.10日志收集系统搭建
zw1987zw的博客
11-05 1253
1. 准备工作 安装jdk8以上版本 2. 安装elesticsearch7.10 2.1 修改系统参数vi /etc/security/limits.conf 末尾添加如下参数： * soft nofile 65536 * hard nofile 131072 * soft nproc 4096 * hard nproc 4096 2.2 修改系统参数 vi /etc/sysctl.conf vm.max_map_count=262144 2.3配置重新生效 sysctl -p ...
centos 6.5 单实例搭建 ELK
weixin_33722405的博客
07-02 100
2018-07-02 21:32:33 ELK 单实例搭建 环境搭建 1.1我的系统版本 Distributor ID: CentOS Description: CentOS release 6.5 (Final) 1.2需要的软件：（elk的下载路径：https://www.elastic.co/downloads/） ElasticSearch:...
基于elastic stack搭建的ELK系统资源占用预估
最新发布
kobe8.cn
06-27 351
内存: 至少4GB RAM，推荐8GB RAM或更多，具体取决于用户查询和仪表盘的复杂度。部署在每个需要收集数据的主机上，资源需求较低，例如：1 vCPU, 1GB RAM。内存: 至少4GB RAM，推荐8GB RAM或更多，具体取决于处理的数据量。3个数据节点，每个节点：8 vCPU, 32GB RAM, 2TB SSD。3个主节点，每个节点：4 vCPU, 8GB RAM。2个实例，每个实例：4 vCPU, 8GB RAM。2个实例，每个实例：4 vCPU, 8GB RAM。
Centos7下搭建ELK日志分析系统
11-02
本文档记录了个人在centos7环境下搭建ELK日志分析系统的步骤及遇到的问题、处理记录。明细罗列了本次搭建的系统环境和软件版本，操作系统为centos7.6,elk对应版本为7.9.3, redis版本为6.0.6。受限于更明细的环境差别，安装过程中报错可能不尽相同，主要记录了ELK各组件软件的安装步骤，供各位有需要的人参考！！！
ELK单节点安装
jushisi的博客
09-17 335
前提：安装JDK1.8以上 需要下载文件： elasticsearch-6.8.0.tar.gz elasticsearch-6.8.0.tar.gz.sha512 kibana-6.8.0-linux-x86_64.tar.gz logstash-6.8.0.tar.gz https://www.elastic.co/cn/downloads/past-releases#elasticsearch 可以直接切换搜索条件，下载kibana和logstash,三者要保持版本一致 mysql-connecto
ELK单节点部署
sly1311220942的博客
10-10 628
elasticsearch7.8.1安装 下载安装包 注意不能安装在/root下 解压后修改配置文件 因为es7需要jdk11，但是虚拟机安装的是1.8，好在es自带了jdk。需要指定使用自带的jdk。修改es启动脚本文件，在最前面加上下面这段。 export JAVA_HOME=/usr/local/elk/elasticsearch-7.8.1/jdk export PATH=$JAVA_HOME/bin:$PATH #添加jdk判断 if [ -x "$JAVA_HOME/bin" ]; then
单节点ELK日志分析平台部署指导
大江东去
07-29 228
（一）服务器信息概览： 操作系统：CentOS Linux release 7.6.1810 (Core) 服务器配置推荐：8vCPU 16G100G Elasticsearch版本：7.8.0（目前的最新版） Kibana版本：7.8.0 Logstash版本：7.8.0 （二）简要说明 ELK主要由ElasticSearch、Logstash和Kibana三个开源工具组成，还有其他专门由于收集数据的轻量型数据采集器 Beats。 Elasticsearch ：分布式搜索引擎。 具有高可伸缩
centos7下最新版（7.3.2）ELK+FileBeat+Kafka集群安装部署配置
划水的银开的博客
09-29 2772
1、安装elasticsearch 1.)关闭防火墙及SELinux systemctl stop firewalld systemctl disable firewalld vim /etc/sysconfig/selinux SELinux=disabled setenforce 0
CentOS7.5搭建ELK6.2.4集群与简单测试
Frank409167848的博客
07-09 847
一 简介 Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速，近实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和需求的应用程序的底层引擎/技术。 下载地址：https://www.elastic.co/cn/downloads       版本：elasticsearch-6.2.4.tar.gz     logstash-6.2.4.tar.gz...
docker-compose配置elk + filebeat（版本：7.16.1）
paidaxinga的博客
12-29 2822
docker-compose配置elk + filebeat（版本：7.16.1）前言1 环境2 拉取镜像3 创建自定义网络4 elasticsearch配置4.1 创建目录4.2 配置elasticsearch.yml文件5 kibana配置5.1 配置kibana.yml文件6 logstash配置6.1 logstash.yml文件6.2 my.conf文件7 filebeat配置7.1 创建测试目录7.2 配置filebeat.yml文件8 docker-compose.yml文件配置8.1 配置内
ELK----搭建到运行(单节点)
wastedsoul的博客
01-10 366
一.ElasticSearch 1.配置elasticsearch.yml。 2.启动服务。 二.Logstash 1.配置logstash.conf。 参考https://doc.yonyoucloud.com/doc/logstash-best-practice-cn/filter/grok.html 2.启动服务。 3.注意小细节 使用Logstash配置XX.c...
CentOS7.5搭建ELK6.2.4集群及插件安装
dengshuabi6933的博客
06-09 326
一 简介 Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速，近实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和需求的应用程序的底层引擎/技术。 下载地址：https://www.elastic.co/cn/downloads 版本：elasticsearch-6.2.4.tar.gz logstash-6.2.4.t...
搭建elk
plutozc的博客
08-22 715
项目中部署了多节点，所以日志看起来很不方便，就动手搞一套elk收集日志，看了网上很多的攻略感觉并不是很难，但还是遇到了蛮多的坑。 一、基础配置 由于elk的组件都是基于java的，所以java环境肯定是必须的。新版本的elk对java版本也是有要求的，要求是1.8。服务器是用的开发的服务器，java什么的也都装了，本以为可以省事，没想到这里却是个坑。。。。二、Logstash 1、下载Logst
ELK部署搭建
这是一个记录学习的博客
04-18 594
缘由：由于现在工作中使用了ELK作为日志收集，给研发提供查看日志情况，加上集团机房搬迁，所有服务重新迁移部署，借此机会，将ELK整个环境重新部署了一遍，以此记录一下。ELK+kafka日志系统原理（介质为日志）Windows/linux的logstash（客户端）--->kafka（队列）--->kakfa上的logstash（也是一个客户端）--->ES（存储）--->k...
elk安装和使用
keketrtr的专栏
07-27 532
至少需要8G内存的服务器！！！ 1. 下载镜像（时间很久，耐心要足）： docker pull sebp/elk 2. 创建Docker容器（只用在第一次使用的时候才创建） docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -e ES_MIN_MEM=128m -e ES_MAX_MEM=1024m -it --name elk sebp/elk 这里可能会报错：max virtual memory areas vm.max_map_count [655.
ELK日志（3）
大虾好吃吗
01-14 984
这篇将使用filebeat，启用EFK日志的收集功能
ELK搭建社工库
weixin_72667582的博客
08-10 2043
ELK是一款主流的日志平台架构，分布式，毫秒级响应的特性适用于大量数据的筛查,支持api接口访问内存:推荐配置：64G 可用配置：32G、16G 配置下限：8GCPU:双核到8核都可以 核数优先于单核的处理能力。硬盘:源文件约2.5倍的空间。
ELK单点部署手册
m0_72717546的博客
09-26 352
本篇对8.8.1版本的Elasticsearch和Kibana作为示例，进行一次安装部署教程。
CentOS 7单节点安装教程
本实验主要涵盖了Linux操作系统的单节点安装过程，特别是以CentOS 7为操作系统的安装。实验的目标是让学生熟悉服务器操作系统的安装流程以及CentOS系统的具体安装步骤。通过这个实验，你可以学习到以下几个关键知识...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值