ELK6.1搭建--安装和配置

ELK简介

Elasticsearch

Elasticsearch是一个实时的分布式搜索分析引擎, 它能让你以一个之前从未有过的速度和规模,去探索你的数据。它被用作全文检索、结构化搜索、分析以及这三个功能的组合:

* Wikipedia使用Elasticsearch提供带有高亮片段的全文搜索,还有search-as-you-type和did-you-mean的建议。

*卫报 使用Elasticsearch将网络社交数据结合到访客日志中,实时的给它的编辑们提供公众对于新文章的反馈。

* Stack Overflow将地理位置查询融入全文检索中去,并且使用more-like-this接口去查找相关的问题与答案。

* GitHub使用Elasticsearch对1300亿行代码进行查询。

然而Elasticsearch不仅仅为巨头公司服务。它也帮助了很多初创公司,像Datadog和Klout, 帮助他们将想法用原型实现,并转化为可扩展的解决方案。Elasticsearch能运行在你的笔记本电脑上,或者扩展到上百台服务器上去处理PB级数据。

Elasticsearch中没有一个单独的组件是全新的或者是革命性的。全文搜索很久之前就已经可以做到了, 就像早就出现了的分析系统和分布式数据库。革命性的成果在于将这些单独的,有用的组件融合到一个单一的、一致的、实时的应用中。它对于初学者而言有一个较低的门槛, 而当你的技能提升或需求增加时,它也始终能满足你的需求。

Logstash

Logstash是一款强大的数据处理工具,它可以实现数据传输,格式处理,格式化输出,还有强大的插件功能,常用于日志处理。

工作流程

Logstash工作的三个阶段:

input数据输入端,可以接收来自任何地方的源数据。

* file:从文件中读取

* syslog:监听在514端口的系统日志信息,并解析成RFC3164格式。

* redis:从redis-server list中获取

* beat:接收来自Filebeat的事件

Filter数据中转层,主要进行格式处理,数据类型转换、数据过滤、字段添加,修改等,常用的过滤器如下。

* grok:通过正则解析和结构化任何文本。Grok目前是logstash最好的方式对非结构化日志数据解析成结构化和可查询化。logstash内置了120个匹配模式,满足大部分需求。

* mutate:在事件字段执行一般的转换。可以重命名、删除、替换和修改事件字段。

* drop:完全丢弃事件,如debug事件。

* clone:复制事件,可能添加或者删除字段。

* geoip:添加有关IP地址地理位置信息。

output是logstash工作的最后一个阶段,负责将数据输出到指定位置,兼容大多数应用,常用的有:

* elasticsearch:发送事件数据到Elasticsearch,便于查询,分析,绘图。

* file:将事件数据写入到磁盘文件上。

* mongodb:将事件数据发送至高性能NoSQL mongodb,便于永久存储,查询,分析,大数据分片。

* redis:将数据发送至redis-server,常用于中间层暂时缓存。

* graphite:发送事件数据到graphite。http://graphite.wikidot.com/

* statsd:发送事件数据到statsd。

kibana

kibana是一个开源和免费的工具,它可以为Logstash和ElasticSearch提供的日志分析友好的Web界面,可以帮助您汇总、分析和搜索重要数据日志。

################################################################################################################################

确保安装了java1.8以上版本 用jdk不用openjdk

 

Elasticsearch官方建议使用Oracle的JDK8,在安装之前首先要确定下机器有没有安装JDK.

rpm-qa | grep java

如果有,有可能是系统自带的openjdk,而非oracle的jdk。可以使用

rpm–e --nodeps java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64

卸载所有带有Java的文件,然后进行重新安装。

检查是否删除

java–version

将jdk-8u131-linux-x64.tar放入/usr/local目录下并解压缩

将以下内容添加至/etc/profile

#set java environment

exportJAVA_HOME=/usr/local/jdk1.8.0_131

exportJRE_HOME=${JAVA_HOME}/jre

exportCLASSPATH=.:${JAVA_HOME}/lib/dt.JAVA_HOME/lib/tools.jar:${JRE_HOME}/lib

exportPATH=${JAVA_HOME}/bin:${PATH}

保存后运行source /etc/profile使环境变量生效

输入java -version确认是否安装成功。

[root@localhostlocal]# java -version

javaversion "1.8.0_131"

Java(TM)SE Runtime Environment (build 1.8.0_131-b13)

JavaHotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)

修改系统参数,确保系统有足够资源启动ES

设置内核参数

/etc/sysctl.conf

#增加以下参数

vm.max_map_count=655360

执行以下命令,确保生效配置生效:

sysctl–p

设置资源参数

/etc/security/limits.conf

#修改

* soft nofile 65536

* hard nofile 131072

* soft nproc 65536

*hard nproc 131072

vi/etc/security/limits.d/20-nproc.conf

#设置elk用户参数

elk soft nproc 65536

解压到/home/elasticsearch中,修改elasticsearch/config/elasticsearch.yml中:

#这里指定的是集群名称,需要修改为对应的,开启了自发现功能后,ES会按照此集群名称进行集群发现

cluster.name:thh_dev1

#数据目录

path.data:/home/data/elk/data

# log目录

path.logs:/home/data/elk/logs

# 节点名称

node.name: node-1

#修改一下ES的监听地址,这样别的机器也可以访问

network.host:0.0.0.0

#默认的端口号

http.port:9200

进入elasticsearch的bin目录,使用./elasticsearch -d命令启动elasticsearch。

使用

ps-ef|grep elasticsearch

查看进程

使用

curl-X GEThttp://localhost:9200

查看信息

 

浏览器访问http://localhost:9200可以看到Elasticsearch的信息

{

name:"bWXgrRX",

cluster_name:"elasticsearch_ywheel",

cluster_uuid:"m99a1gFWQzKECuwnBfnTug",

version:{

number:"6.1.0",

build_hash:"f9d9b74",

build_date:"2017-02-24T17:26:45.835Z",

build_snapshot:false,

lucene_version:"6.4.1"

},

tagline:"You Know, for Search"

}


客户端网页访问可能需要关掉防火墙:

Systemctl stop firewalld.service

 

首先将logstash解压到/home/logstash中

创建配置文件

创建logstash-simple.conf文件并且保存到

/home/logstash/config下

完整路径应该是 /home/logstash/config/xxxx.conf

 

#########################################################

input{

file {

path => "/home/parallels/Desktop/data/elk/logs/*.log"

start_position => beginning

ignore_older => 0

sincedb_path =>"/dev/null"

}}

filter{

grok {

match => { "message" =>"%{IPORHOST:clientip} - %{USER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb}%{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\"%{NUMBER:response} (?:%{NUMBER:bytes}|-)"}

}date {

match => [ "timestamp" ,"dd/MMM/YYYY:HH:mm:ss +0800" ]

}

}

output{

elasticsearch {}

stdout {}

}

##############################################################

其中path => "/home/parallels/Desktop/data/elk/logs/*.log"为日志路径

Grok后面是正则表达式,筛选logstash要读取的关键信息。

读取kafka的消息

################################################################

input {

     kafka {

         bootstrap_servers => "172.30.3.11:9092"

  topics=>["accountrisksvrlog","dealserver_log","estranslog","gatelog","profitsvrlog","sttransserver_log"]

         codec => plain

         consumer_threads => 4

         decorate_events => true

     }

 }

 

 output {

     elasticsearch {

         hosts => ["172.30.3.11:9200"]

         index => "all-log"

     }

 }

##################################################################

进入logstash的bin目录,使用

bin/logstash -f config/XXXXXX.conf

命令读取配置信息并启动logstash。

安装kibana:

解压kibana源码包到/home/kibana

配置kibana

编辑kibana.yml配置文件

/home/kibana/config/kibana.yml

修改以下参数:

#开启默认端口5601如果5601被占用可用5602或其他

server.port:5601

server.host:“localhost”#站点地址

elasticsearch.url:http://localhost:9200#指向elasticsearch服务的ip地址

kibana.index:“.kibana”

运行cd /home/parallels/Desktop/kibana/bin运行./kibana

通过kibana窗口观察你的结果:

http://localhost:5601

一开始是在setting页面,要你指定访问的index,这里就用缺省的logstash-*就行了。

 




          
展开阅读全文

没有更多推荐了,返回首页