ELK学习指南（二）- ELK安装

ELK安装文档

前置条件：

■  软件需求

    ● yum and rpm (CentOS)

    ●  scp, curl, unzip, tar

■  JDK需求：要求使用 Oracle JDK 1.8 64-bit 或以上版本的JDK

■  编辑/etc/hosts文件，添加需要的机器名与ip的映射

    ●  这里以机器名datastory4为例

■  配置iptables

    ●  最简单的方式是禁用iptables：chkconfig iptables off

    ●  或者暂时关闭：/etc/init.d/iptables stop

■  安装包准备（适用于无网络连接情况下的安装）：

    ●  https://artifacts.elastic.co/downloads/logstash/logstash-5.3.0.tar.gz

    ●  https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.3.0.tar.gz

    ●  https://artifacts.elastic.co/downloads/kibana/kibana-5.3.0-linux-x86_64.tar.gz

 

一、ElasticSearch

1.  基本概念

Elasticsearch：开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。

特点：

    1）实时分析

    2）分布式实时文件存储，并将每一个字段都编入索引

    3）文档导向，所有的对象全部是文档

    4）高可用性，易扩展，支持集群（Cluster）、分片和复制（Shards 和 Replicas）。

    5）接口友好，支持 JSON

 

2.  安装步骤

    1）上传安装包到安装目录

    2）解压安装包：

        ●  tar –zxvf elasticsearch-5.3.0.tar.gz

    3）配置：

        ●  cd /opt/package/elasticsearch-5.3.0/config/

        ●  vim elasticsearch.yml

        ●  添加以下配置项：

cluster.name: test-cluster

path.data: /tmp/elasticsearch/data

path.logs: /tmp/elasticsearch/logs

network.host: 0.0.0.0

http.port: 9200

    4）启动服务

        ●  cd /opt/package/elasticsearch-5.3.0/bin

        ●  ./elasticsearch 或./elasticsearch–d

    5）浏览器访问：

        ●  http://datastory4:9200/

    6）启动elasticsearch-head,,并访问:

        ●  grunt server

        ●  http://datastory4:9100/

 

3.常见错误处理

    1）

    

    解决：更改jdk版本1.8

    2）

    

    解决：Linux版本过低，使用新版本的Linux系统。其实不影响使用

    3）

    

    解决：最大虚拟内存太小。切换到root用户下，修改配置文件sysctl.conf

      ●  vi /etc/sysctl.conf

    添加下面配置：

vm.max_map_count=655360

      并执行命令：

      ● sysctl -p

      然后重新启动elasticsearch，即可启动成功。

    4）

    

    解决：这是在因为Centos6不支持SecComp，而ES5.2.0默认bootstrap.system_call_filter为true进行检测，所以导致检测失败，失败后直接导致ES不能启动。

    在elasticsearch.yml中配置bootstrap.system_call_filter为false，注意要在Memory下面:

bootstrap.memory_lock: false
bootstrap.system_call_filter: false

二、Logstash

1.  基本概念

Logstash：是一个具有实时渠道能力的数据收集引擎。它可以对你的日志进行收集、分析，并将其存储供以后使用（如搜索）。

特点：

    1）几乎可以访问任何数据

    2）可以和多种外部应用结合

    3）支持弹性扩展

主要部分组成：

    1）Shipper－发送日志数据

    2）Broker－收集数据，缺省内置 Redis

    3) Indexer－数据写入

 

2.  安装步骤

    1）上传安装包到指定目录

    2）解压

        ●  tar –zxvfelasticsearch-5.3.0.tar.gz

    3）启动服务，并验证测试

        ●  cd /opt/package/logstash-5.3.0

        ●  ./bin/logstash -e 'input { stdin { } } output { stdout {} }'

        

        ●  如果结果如上图，表明可以正常使用。

    4)配置Logstash 管道文件

        ●  cd /opt/package/logstash-5.3.0/config/

        ●  vim log_to_es.conf

5)启动服务，后面加“&”是后台启动

        ●  ./bin/logstash agent -f config/log_to_es.conf &

 

三、Kibana

1.  基本概念

Kibana 是一款基于 Apache开源协议，使用 JavaScript 语言编写，为Elasticsearch 提供分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找，交互数据，并生成各种维度的表图。Kibana既为 Logstash 和 ElasticSearch 提供友好的日志分析Web 界面，也可以帮助用户汇总、分析和搜索重要数据日志。

   

2.  安装步骤

    1）上传安装包

    2）解压

        ●  tar –zxvf kibana-5.3.0-linux-x86_64.tar.gz

    3）配置

        ●  cd /opt/package/kibana-5.3.0-linux-x86_64/config/

        ●  vim kibana.yml

        ●  server.host: "0.0.0.0"

        ●  elasticsearch.url:"http://datastory:9200"

    4）启动kibana服务

        ●  ./kibana &

 

3.  常见错误处理

    1)

    

    解决：版本不匹配。更换兼容版本即可。