关闭

[置顶] Linux系统ELK环境搭建手册

4252人阅读 评论(20) 收藏 举报


   引言


   我们都知道当我们系统上线以后,一旦出现什么什么问题,系统日志是我们重要的参考依据,当我们系统数据


量非常大的时候,通过我们的日志还可以分析出非常多的有价值的信息,可以为公司的发展方向起到指导性作用,但


是随着系统的日益庞大,互联网技术的不断发展,现在的日志都分布在很多台服务器上面,这对于日志的收集和分析


是个非常大的挑战,显然如果通过传统的方式会死人的,而ELK架构专为收集、分析和存储日志所设计。


   Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本


机制,restful风格接口,多数据源,自动搜索负载等。


   Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。


   Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 


Web 界面,可以帮助您汇总、分析和搜索重要数据日志。


  下面给大家介绍一下ELK环境的安装:


   1、jdk安装


    首先检查是否已经安装jdk,如果已经安装有jdk并且版本和上面版本不一样的话,需要先卸载jdk,然后安装


提供版本的jdk。


   1、卸载命令:yum  groupremove  java。


   2、将jdk压缩包(jdk-8u45-linux-x64.tar.gz)复制到/opt 目录下


   3、在opt路径下面执行命令:Tar zxf jdk-8u45-linux-x64.tar.gz


   4、进入/etc目录,修改profile文件 在最后添加下面代码


    #JDK1.8
    export JAVA_HOME=/opt/jdk1.8.0_45
    export JAVA_BIN=/opt/jdk1.8.0_45/bin
    export PATH=$PATH:$JAVA_HOME/bin
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export JAVA_HOME JAVA_BIN PATH CLASSPATH


   5、重启系统:reboot


  2、elasticsearch安装


    1、将elasticsearch-1.7.2.tar.gz 复制到/opt下面


    2、解压该安装包


     在opt路径下面执行命令:tar zxf elasticsearch-1.7.2.tar.gz


    3、启动elasticsearch服务


      进入安装的bin目录下:cd  opt/elasticsearch-1.7.2/bin


     执行命令:./elasticsearch -d (-d确保服务可以在后台运行)

     在浏览器中输入:ip+9200端口 出现下面json数据,证明安装成功


      


   1、Head插件安装


   保证你的Linux系统可以上网,然后执行下面命令完成安装


   ./plugin -install mobz/elasticsearch-head


   在浏览器中输入:192.168.92.12:9200/_plugin/head 后出现下图效果,说明安装成功

        

   2、bigdesk插件


   保证你的Linux系统可以上网,然后执行下面命令完成安装


   ./plugin -install lukas-vlcek/bigdesk/2.5.0


   在浏览器中输入:192.168.92.12:9200/_plugin/bigdesk后出现下图效果,说明安装成功

      


   3、Logstash安装


    1、将logstash-1.5.5.tar.gz 复制到/opt下面


    2、解压该安装包


     在opt路径下面执行命令:tar zxf logstash-1.5.5.tar.gz


   4、kibana安装


    1、将kibana-4.1.0-linux-x64.tar.gz 复制到/opt下面


    2、解压该安装包


     在opt路径下面执行命令:tar  zxf  kibana-4.1.0-linux-x64.tar.gz


   3、启动kibana服务


      进入安装的bin目录:cd /opt/kibana-4.1.0-linux-x64/bin


      然后执行 ./kibana 出现下面效果,证明服务启动成功

      

   
   在浏览器中输入:ip+5601端口 出现下面效果证明安装成功

       

   


    小结


   上面是在Linux服务器上面的一个基本的环境搭建,但是在企业中一般不会采用这个简单的架构,因为这个架构


是存在一些问题的在性能方面,所以我们为了解决这些问题会对这个架构和别的技术进行结合,从而达到大数据量的


日志收集系统。在后面的博客中小编会陆续详细的介绍里面用到的技术。

0
0
查看评论

ELK环境的搭建和配置

编写日期:2016-09-19 编写作者:mtsbv110 邮    箱:2532874889@qq.com   部署环境 操作系统: :CentOS Linux release 7.2.1511 (Core) cat /etc/redha...
  • mtsbv110
  • mtsbv110
  • 2016-09-22 21:36
  • 395

【小白历险记】ELK日志系统安装部署指南

ELK日志系统安装部署流程:分别包含ElasticSearch、logstash、X-PACK、Kibana等
  • yaojian698
  • yaojian698
  • 2017-01-06 19:25
  • 400

ELK 日志监控平台环境搭建及使用说明

1. ELK概述ELK,也就是Elasticsearch、Logstash、Kibana三者的结合,是一套开源的分布式日志管理方案.Elasticsearch:负责日志存储、检索和分析LogStash:负责日志的收集、处理Kibana:负责日志的可视化方案: 2. 环境搭建为整体环境创建一个合适的...
  • Jeanphorn
  • Jeanphorn
  • 2016-11-01 14:29
  • 9033

ELK(一)ELK日志收集分析系统环境搭建

基本环境Linux系统 elasticsearch-2.4.2.tar.gz logstash-2.4.1.tar.gz kibana-4.6.3-linux-x86_64.tar.gz 基本概念本节内容摘自http://baidu.blog.51cto.com/71938/1676798日志主要包...
  • fgyibupi
  • fgyibupi
  • 2016-12-21 12:12
  • 3151

Win 10 ELK(5.4.1) 环境搭建与基本使用与 Expected one of # 解决办法

Win 10 ELK(5.4.1) 环境搭建与基本使用与 Expected one of # 解决办法 ELK :   elasticsearch:  将日志信息进行分割,建立索引 (依赖分词插件)   logstash :  收集日志   Kiba...
  • wangming520liwei
  • wangming520liwei
  • 2017-06-14 14:21
  • 3080

ELK平台的搭建

本文主要介绍了日志分析ELK集群的搭建过程
  • dabokele
  • dabokele
  • 2016-06-26 23:05
  • 16082

CentOS6.5搭建ELK套件搭建日志分析和监控平台

1 概述 ELK套件(ELK stack)是指ElasticSearch、Logstash和Kibana三件套。这三个软件可以组成一套日志分析和监控工具。 2 环境准备 2.1 防火墙配置 为了正常使用HTTP服务等,需要关闭防火墙: [plain]...
  • LLQ_200
  • LLQ_200
  • 2017-04-01 14:08
  • 2832

ELK5.0日志收集平台搭建指南

开源实时日志收集平台ELK由ElasticSearch、Logstash、Kibana三个开源工具组成,官方网址为:https://www.elastic.co/products 在Elastic 5.0版本之后,官方又加入了Beats套件,然后把他们统称为Elastic Stack。  ...
  • Nero__A
  • Nero__A
  • 2016-12-13 15:03
  • 3996

ELK环境搭建

1. 收集日志文件到Kafka流程:业务系统 => 日志文件 => FileBeat => Logstash => Kafka1.1 Kafka# 查看主题 kafka-topics.sh --zookeeper host-10-18-16-8:2181/kafka --li...
  • u013980127
  • u013980127
  • 2017-03-21 16:43
  • 498

ELK部署参考文档

简单介绍: ELK是三个开源工具组成,简单解释如下: Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。 Logstash是一个完全开源的工具,它可以对你的日志进行收集、...
  • gaozhiwei121
  • gaozhiwei121
  • 2017-06-04 11:03
  • 772
    个人资料
    • 访问:563350次
    • 积分:18482
    • 等级:
    • 排名:第599名
    • 原创:274篇
    • 转载:20篇
    • 译文:0篇
    • 评论:5683条
    和我交谈
    点击这里给我发消息 点击这里给我发消息
    时间你好?
    博客专栏
    最新评论