09.02 elk的安装和配置使用

ELK的安装配置

一、ES简介
	ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。
	特点是：高可用，高扩展，是一种NOSQL的数据存储工具
二、ES安装前的准备(elk安装包版本要求一致)
	下载：elasticsearch-6.2.2.tar.gz
	elasticsearch-head-master.zip
	kibana-6.2.2-linux-x86_64.tar.gz
	logstash-6.2.2.tar.gz
	node-v8.9.1-linux-x64.tar.gz
三、ELK的安装
	1．把下载好的安装包，拖拽到/software目录中
	2．输入：yum install -y unzip          下载解压缩工具
	3．输入：cd /software   进入安装包目录，输入ll可以查看目录中的文件
	4．输入：tar -zxvf elasticsearch-6.2.2.tar.gz -C /opt
	5．输入：tar -zxvf kibana-6.2.2-linux-x86_64.tar.gz -C/opt
	6．输入：tar -zxvf logstash-6.2.2.tar.gz -C /opt
	7．输入：tar -zxvf node-v8.9.1-linux-x64.tar.gz -C/opt
	8．输入：unzip elasticsearch-head-master.zip
	9．输入 mv elasticsearch-head-master /opt/eshm     把解压的文件夹移动并改名
	10．输入：cd /opt
	11．输入：mv kibana-6.2.2-linux-x86_64/ kibana622
	12．输入：mv logstash-6.2.2/ logstash622
	13．输入：mv node-v8.9.1-linux-x64/ node8
四、ES的配置
	1．输入：vi /etc/hostname    修改主机名
	2．输入：vi /etc/hosts        修改主机列表
	3．配置es的参数
		（1）输入：vi /opt/es622/config/elasticsearch.yml，按shift+g，快速定位到尾行，按o在下一行插入以下内容：
			cluster.name: test               --集群名
			node.name: test-master          --节点名
			node.master: true               --是否是主节点
			network.host: 192.168.56.110     --本机地址
			discovery.zen.ping.unicast.hosts: ["192.168.56.110"]      --同上
			http.cors.enabled: true                       
			http.cors.allow-origin: "*"
	4．配置系统参数
		（1）输入：vi /etc/sysctl.conf               插入内容：vm.max_map_count=655360
			注：最好首次也要使用以下命令刷新            sysctl -w vm.max_map_count=655360
		（2）输入：vi /etc/security/limits.conf(配置完成可能需要重启)     插入内容：
			* soft nofile 65536
			* hard nofile 65536
			* soft nproc 4096
			* hard nproc 4096 
	5．修改es622目录的属组(es不能使用root启动)    chown -R bigdata:bigdata es622
	6．输入：su bigdata    切换到普通用户
	7．在/opt目录下输入：./es622/bin/elasticsearch
		底部出现 started即是启动成功
	8．在windows界面打开网页，输入http://192.168.56.110:9200/，可以正常出页面，切有节点的信息，即是启动成功
五、Head-master及node的配置
	1．输入：vi /etc/profile     按shift+g定位到底部，然后按o在下一行插入以下内容：
		export NODE_HOME=/opt/node8
		export PATH=$PATH:$NODE_HOME/bin  （如之前在java配置过PATH变量则在原先的尾部增加：:$NODE_HOME/bin）
	2．输入：source /etc/profile     激活配置文件，输入node -v 可以查看是否配置成功
	3．输入：cd /opt/eshm
	4．输入：npm install -g grunt-cli    --等待的时间比较长，要有点耐心
	5．输入：npm install          出错时需要输入：
		npm install phantomjs-prebuilt@2.1.14 --ignore-scripts 
	6．输入：vi Gruntfile.js，在以下位置高亮位置增加一行代码：hostname: ‘*’,
		 connect: {
		    server: {
 		       options: {
        		    port: 9100,
       			    hostname: '*',
      		 	    base: '.',
       			    keepalive: true        }
		 }
	7．输入：vi _site/app.js，找到如下代码，并进行修改：
		 this.base_uri =this.config.base_uri ||this.prefs.get("app-base_uri") || "http://localhost:9200";
		修改成为：
		this.base_uri =this.config.base_uri ||this.prefs.get("app-base_uri") || "http://192.168.56.110:9200";
	8．输入：npm run start          启动head-master
	9．在windows界面，打开网页，输入：http://192.168.56.110:9100/
六、使用Head-master对ES进行测试
	1．点击索引页签，点击新建索引
	2．点击总览页签，即可查看索引的情况
七、kibana安装，配置和实例
	1．输入：cd /opt/kibana622
	2．输入：vi config/kibana.yml    按shift+g跳转到行末，按o增加以下内容：
		server.host: "192.168.56.110"
		elasticsearch.url: "http://192.168.56.110:9200"
	3．输入：./bin/kibana        运行kibana
	4．在windows界面打开网页，输入http://192.168.56.110:5601/
	

实例：

 PUT demo       --增加
GET demo       --查询
#删除 index
DELETE demo
#提交数据  
PUT /demo/user/1
{
  "firstName":"luo","lastName":"xin","age":36,"hobby":"I like gongfu","interests":["games"]
}
#查询数据 
GET demo/user/1
GET demo/user/_search
GET demo/user/1?_source=age,lastName,hobby
#删除指定数据 
DELETE /demo/user/A_KKx3ABEZ3jJD3MqVuu
#修改 
POST /demo/user/1/_update{ "doc":{ "age":30 }  }
POST /demo/user/
{ "firstName":"wang","lastName":"feng","age":51,"hobby":"I like changge","interests":["toutiao"] }
GET /_mget
GET /demo/user/_mget
GET /demo/user/_mget{ "ids":[1,"BPKUx3ABEZ3jJD3MSlvF"] }
POST _analyze{
"analyzer": "standard",
"text": ["我是回家"]
 }
POST _analyze{
"analyzer": "whitespace",
"text": ["我 要 回家"]
 }
POST  demo2/books/_bulk
{"index":{"_id":1}}{"title":"JAVA","price":35}
{"index":{"_id":2}}{"title":"HTML","price":45}
{"index":{"_id":3}}{"title":"MYSQL","price":55}
GET demo2/books/_mget
POST demo2/books/_bulk
{"delete":{"_index":"demo2","_type":"books","_id":3}}
{"update":{"_index":"demo2","_type":"books","_id":2}}
{"doc":{"price":59}}
DELETE demo2/books/3
GET demo2/books/_search?q=title:JAVA
GET demo2/books/_search?q=title:JAVA&q=price:35

八、logstash实例

1．输入：cd /opt/logstash622      进入logstash的安装目录
2．输入：./bin/logstash -e ‘input { stdin{} } output { stdout{} }’     来测试logstash是否正常工作
3．输入：./bin/logstash -e ‘input { stdin{} } output { stdout{ codec => json } }’    
	把控制台输入的数据转换成json格式的数据，也可以替换成rubydebug类型的
4．./bin/logstash -e ‘input { stdin{} } output { stdout{ codec => json } elasticsearch { hosts => [“192.168.56.110:9200”] } }’    
 	把控制台输入的数据转换成rubydebug类型的数据，同时上传到es服务器，
 	可以在对应192.168.56.110:9100的页面进行查看
5．使用logstash读取文件
	./bin/logstash -f demo.conf

demo.conf 的内容代码如下：

input{
        file{
                path => "/opt/logstash622/test/demo.txt"
                start_position => "beginning"
                sincedb_path => "/dev/null"
        }
}

filter{
        ruby{
                code => "event.timestamp.time.localtime"
        }
}

output{
        stdout{
                codec => rubydebug
        }
        elasticsearch{
                hosts => ["192.168.56.110:9200"]
        }
}