elasticsearch+logstash+kafka配置说明

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。本文档简述ElasticSearch配合kafka单机部署的一个环境，以及java快速链接ElasticSearch服务器的应用简例。

准备文件：
elasticsearch-6.4.2.tar.gz
kibana-6.4.2-x86_64.rpm
logstash-6.4.2.tar.gz
环境：
JDK 和 NodeJS
可参考：
https://www.extlight.com/2017/09/27/Elasticsearch-%E5%9F%BA%E7%A1%80%E5%85%A5%E9%97%A8/
ELK搭建环境说明：

注意点：1.服务器内的防火墙要设置关闭；
2.编辑修改各内配置文件，请注意修改时候如果在下载到windows上编辑，注意修改了编码格式，可能再上传会识别不了；

一.安装elasticsearch和启动
tar zxvf ./elasticsearch-6.4.2.tar.gz
cd elasticsearch-6.4.2
bin/elasticsearch 或 bin/elasticsearch -d # -d 表示后台启动

1.（非必须，启动有问题可参考）因为 Elasticsearch 可以执行脚本文件，为了安全性，默认不允许通过 root 用户启动服务。我们需要新创建用户名和用户组启动服务
#增加 es 组
groupadd es
#增加 es 用户并附加到 es 组
useradd es -g es -p es
#给目录权限
chown -R es:es elasticsearch-5.6.1
#使用es用户
su es

2.（非必须，启动有问题可参考）默认情况下，Elasticsearch 只允许本机访问，如果需要远程访问，需要修改其配置文件
vim config/elasticsearch.yml
network.host: 0.0.0.0

3.（非必须，启动有问题可参考）启动报错：max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
ulimit -n 65536 #需要设置在root用户下，再设置es用户
或者在/etc/security/limits.conf文件中增加以下几行：

• soft nofile 102400
• hard nofile 102400
• soft memlock unlimited
• hard memlock unlimited

4.（非必须，启动有问题可参考）启动报错：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
vim /etc/sysctl.conf
vm.max_map_count=262144
或者root用户下执行：sysctl -w vm.max_map_count = 262144

6.验证es启动成功
访问http://10.72.66.151:9200/，返回json在界面

关闭ps aux | grep ‘elastic’ #记住是用es用户
kill -9 XXX

二.安装logstash和启动
tar zxvf ./logstash-6.4.2.tar.gz
cd logstash-6.4.2.tar.gz
bin/logstash -f log2es.conf
bin/logstash -f kafka2es.conf
cat test.conf #需要新增输入输出配置文件XXX.config
./bin/logstash