ELK使用之-elasticsearch安装部署—1

什么是ELK？
通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 、filebeat三个开源软件的组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为stactic.co，ELK stack的主要优点有如下几个：
处理方式灵活： elasticsearch是实时全文索引，具有强大的搜索功能
配置相对简单：elasticsearch全部使用JSON 接口，logstash使用模块配置，kibana的配置文件部分更简单。
检索性能高效：基于优秀的设计，虽然每次查询都是实时，但是也可以达到百亿级数据的查询秒级响应。
集群线性扩展：elasticsearch和logstash都可以灵活线性扩展
前端操作绚丽：kibana的前端设计比较绚丽，而且操作简单
什么是Elasticsearch：
是一个高度可扩展的开源全文搜索和分析引擎，它可实现数据的实时全文搜索搜索、支持分布式可实现高可用、提供API接口，可以处理大规模日志数据，比如Nginx、Tomcat、系统日志等功能。

什么是Logstash
可以通过插件实现日志收集和转发，支持日志过滤，支持普通log、自定义json格式的日志解析。

什么是kibana：
主要是通过接口调用elasticsearch的数据，并进行前端数据可视化的展现。

为什么使用 ELK？
ELK组件在海量日志系统的运维中，可用于解决以下主要问题：

分布式日志数据统一收集，实现集中式查询和管理
故障排查
安全信息和事件管理
报表功能
ELK组件在大数据运维系统中，主要可解决的问题如下：
日志查询，问题排查，故障恢复，故障自愈
应用日志分析，错误报警
性能分析，用户行为分析
一：elasticsearch部署：
1.1：环境初始化：
IP：192.168.1.58
主机名：node-1
系统：CentOS 7
Java：1.8.0_201
elasticsearch：6.6.0
1.2： 获取elasticsearch-6.6.0
https://www.elastic.co/downloads/

下载安装ELK组件
[root@mha-master data]# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.6.0.tar.gz
[root@mha-master data]# wget https://artifacts.elastic.co/downloads/kibana/kibana-6.6.0-linux-x86_64.tar.gz
[root@mha-master data]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.0.tar.gz
安装部署elasticsearch-6.6.0
[root@mha-master data]# yum install -y java-1.8.0-openjdk-devel java-1.8.0-openjdk
[root@mha-master data]# tar xf elasticsearch-6.6.0.tar.gz
[root@mha-master data]# cd elasticsearch-6.6.0/config
[root@mha-master config]# grep -vE “^$|#” elasticsearch.yml
cluster.name: my-ELK
node.name: node-1
path.data: /data/ELK/elasticsearch/data
path.logs: /data/ELK/elasticsearch/log
network.host: 192.168.1.58
http.port: 9200
discovery.zen.ping.unicast.hosts: [“192.168.1.58”]
http.cors.enabled: true # 开放插件head访问
http.cors.allow-origin: “" # 开放插件head访问
启动访问测试
[root@mha-master config]# groupadd elsearch
[root@mha-master config]# useradd elsearch -g elsearch -p elasticsearch
[root@mha-master config]# chown -R elsearch:elsearch /data/ELK /data/elasticsearch-6.6.0
[root@mha-master config]# su - elsearch
[root@mha-master config]# cd /data/elasticsearch-6.6.0
[root@mha-master elasticsearch-6.6.0]# ./bin/elasticsearch &
[root@mha-master elasticsearch-6.6.0]# curl http://192.168.1.58:9200
{
“name” : “node-1”,
“cluster_name” : “my-ELK”,
“cluster_uuid” : “Frii070FSEKiOSYlE86lOg”,
“version” : {
“number” : “6.6.0”,
“build_flavor” : “default”,
“build_type” : “tar”,
“build_hash” : “a9861f4”,
“build_date” : “2019-01-24T11:27:09.439740Z”,
“build_snapshot” : false,
“lucene_version” : “7.6.0”,
“minimum_wire_compatibility_version” : “5.6.0”,
“minimum_index_compatibility_version” : “5.0.0”
},
“tagline” : “You Know, for Search”
}
安装head插件
[root@mha-master elasticsearch-6.6.0]# yum install -y npm
[root@mha-master data ]# git clone https://github.com/mobz/elasticsearch-head.git
[root@mha-master data ]# cd elasticsearch-head/
[root@mha-master elasticsearch-head]# npm install -g grunt-cli
[root@mha-master elasticsearch-head]# npm install
修改配置文件：
Gruntfile.js
connect: {
server: {
options: {
port: 9100,
hostname: "”, # 新增
base: ‘.’,
keepalive: true
}
}
}

});
_site/app.js        
  this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.1.58:9200";  #  修改为自己的服务
[root@mha-master elasticsearch-head]# grunt server   #启动
测试访问:"http://192.168.1.58:9100