ELK + Redis 日志分析系统 -学习第一天

最新推荐文章于 2024-07-24 01:30:37 发布

tangdong3415

最新推荐文章于 2024-07-24 01:30:37 发布

阅读量1.3k

点赞数

分类专栏：大数据文章标签： redis elasticsearch elk

本文链接：https://blog.csdn.net/tangdong3415/article/details/53743718

版权

大数据专栏收录该内容

17 篇文章 5 订阅

订阅专栏

ELK由Elasticsearch、Logstash和Kibana三部分组件组成；

Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。【我的理解类似solr、lucense的搜索引擎，其实后来才知道他根本就是lucense】

Logstash可以日志进行收集、分析，并将其存储的开源工具。【类似Flume的功能，实际上不如Flume好玩。我个人认为】

Kibana。可以认为是友好的 Web 界面。把前两个收集整理的数据展现出来。

Redis内存数据库。使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库。

在需要收集日志的所有服务上部署logstash，作为logstash agent（logstash shipper）用于监控并过滤收集日志，将过滤后的内容发送到Redis，然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

1、安装jdk

mkdir -p /usr/lib/jvm

tar -xvf jdk-8u45-linux-x64.tar.gz -C /usr/lib/jvm

# vim /etc/profile 配置系统参数
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_45
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

2、安装logstash

 
        # wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz 
       
        # tar zxf logstash-1.5.4.tar.gz -C /usr/local/ 
       
        配置logstash的环境变量 
       
        # echo "export PATH=\$PATH:/usr/local/logstash-1.5.4/bin" > /etc/profile.d/logstash.sh 
       
        # . /etc/profile

3、做 2个测试

1 通过-e参数指定logstash的配置信息，用于快速测试，直接输出到屏幕。

 
        # logstash -e "input {stdin{}} output {stdout{}}"             
       
        my name is zhengyansheng.     
        // 
        手动输入后回车，等待10秒后会有返回结果 
       
        Logstash startup completed 
       
        2015-10-08T13:55:50.660Z 0.0.0.0 my name is zhengyansheng. 
       
        这种输出是直接原封不动的返回...

2 通过-e参数指定logstash的配置信息，用于快速测试，以json格式输出到屏幕。

 
        # logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}' 
       
        my name is zhengyansheng.     
        // 
        手动输入后回车，等待10秒后会有返回结果 
       
        Logstash startup completed 
       
        { 
       
        "message"  
        =>  
        "my name is zhengyansheng." 
        , 
       
        "@version"  
        =>  
        "1" 
        , 
       
        "@timestamp"  
        =>  
        "2015-10-08T13:57:31.851Z" 
        , 
       
        "host"  
        =>  
        "0.0.0.0" 
       
        } 
       
        这种输出是以json格式的返回...

4、以配置文件的方式再做个测试

logstash-simple.conf 在你的安装路径下自己新建。

 
      # vim logstash-simple.conf  
     
      input { stdin {} } 
     
      output { 
     
      stdout { codec=> rubydebug } 
     
      } 
     
      # logstash -f logstash-simple.conf    //普通方式启动 
     
      Logstash startup completed 
     
      # logstash agent -f logstash-simple.conf --verbose //开启debug模式 
     
      Pipeline started {:level=>:info} 
     
      Logstash startup completed 
     
      hello world.     
      // 
      手动输入hello world. 
     
      { 
     
      "message"  
      =>  
      "hello world." 
      , 
     
      "@version"  
      =>  
      "1" 
      , 
     
      "@timestamp"  
      =>  
      "2015-10-08T14:01:43.724Z" 
      , 
     
      "host"  
      =>  
      "0.0.0.0" 
     
      } 
     
      效果同命令行配置参数一样...