ELKB安装(Elasticsearch+logstash+kibana+filebeat)

        本篇博客主要是为了搭建ELKB的运行环境 旨在对线上多台服务器的日志进行获取分析 解决日常运行查看中的痛点

         前置准备：

1.安装jdk环境--java -version

2.下载相关的压缩包或者获取对应的rpm文件  本文采取前者

   官网tar下载路径:Elasticsearch：官方分布式搜索和分析引擎 | Elastichttps://www.elastic.co/cn/elasticsearch/

3.机器须大于4G内存 否则相关实例运行会报错

4.本文所有安装包均通过xftp上传至对应目录（chmod 777 对应文件夹）

    /usr/local/elasticsearch

    /usr/local/kibana

    /usr/local/logstash

    /usr/local/filebeat

5.创建对应非root用户（es强制不能使用root用户启动）  add user esuser ;add pass 

安装Elasticsearch

1.解压缩--修改相关配置文件--修改elasticsearch.yml文件

1.解压缩--tar -zxvf elasticsearch-7.15.2-linux-x86_64.tar.gz

2.预先配置相关系统文件 避免后续报错

  修改配置sysctl.conf文件，解决内存限制--vim /etc/sysctl.conf 修改vm.max_map_count=262144

  执行 sysctl -p --解决报错max virtual memory areas vm.max_map_count [65530] is too low,increase to at least [262144]

----------------------------------------------

 修改配置limits.conf 解决启动过程中文件描述不够的问题--vim /etc/security/limits.conf

（nofile设置打开的文件描述符的最大数目 nproc- 过程的最大数目）

  文件最末尾加入以下四行

   elasticsearch soft nofile 65536  

   elasticsearch hard nofile 65536

   elasticsearch soft nproc 4096

   elasticsearch hard nproc 4096

2.修改配置文件elasearch.yml配置文件

#集群名称
cluster.name: my-es

#节点名称
node.name: node-1

#data数据路径
path.data: /usr/local/elasticsearch/data

#存放日志路径
path.logs: /usr/local/elasticsearch/logs

#允许其他ip访问
network.host: 0.0.0.0 

#请求端口
http.port: 9200

#配置禁用kibana安全选项提示
xpack.security.enabled: false

 3.启动成功 访问curl http://localhost:9200（注：部分买的第三方服务器的同学 需在服务器控制台打开对应端口权限映射才能ip访问）

 进入bin目录---./elasticsearch -d（后台启动 可选可不选）

 

 

安装Kibana

1.解压缩--修改相关配置文件

1.解压缩--tar -zxvf kibana-7.15.2-linux-x86_64.tar.gz

 2.修改kibana配置文件

# 访问默认端口号
server.port: 5601

# 允许其他ip访问
server.host: "0.0.0.0"

# 设置访问elasticsearch的地址路径
elasticsearch.hosts: ["http://你的es安装机器的ip:9200"]

#kibana展示界面语言 默认为en 中文课改为"zh-CN"
#i18n.locale: "en"

 3.进入bin文件夹启动--./kibana

4.访问--http://localhost:5601--弹出如下界面算成功

 5.使用--大家可以导入里面自带的相关测试数据 进行相关测试命令的学习（try data）

 安装filebeat

1.解压缩----tar -zxvf filebeat-7.15.2-linux-x86_64.tar.gz

2.修改配置文件如下--正常配置输出目录为es机器地址即可(filebeat一般配置在目标服务器，针对某一目录下的日志文件做监控 有改变则发送请求至es做分析处理)

-- 设置输入目录为目标目录  enable设置为开启监听

 -- 设置输出目录为es机器   跨机器则需要输入ip地址

 3.启动-- 这次没有bin目录 直接在yml配置文件同级目录启动./filebeat

4.如果配置成功elasticsearch kibana filebeat后 确保文件有输入的情况下 可以登陆kibana查看对应的监控日志---一般日志未命名时  会采用filebeat-7.15.日期的前缀命名 

5.查看kibana日志文件--此处为未做词项分析 为原数据(初始数据)

 

 6.正常情况 我们会对文件做索引分析 不会在此处查看日志文件 后续会对监控日志做索引处理 从而将text数据解析为词项 利用倒排索引原理进行查询

安装logstash---日志处理如果对过滤等无要求 可以省略对应安装 节约内存 此处附一个安装地址以供学习----Logstash在Linux上安装部署 - haw2106 - 博客园Logstash 简介： Logstash 是一个实时数据收集引擎，可收集各类型数据并对其进行分析，过滤和归纳。按照自己条件分析过滤出符合数据导入到可视化界面。它可以实现多样化的数据源数据全量或增量传https://www.cnblogs.com/haw2106/p/10410916.html

总结

   Elasticsearch--用于数据存储 分析和处理

   Kibana--对elasticsearch的可视化界面

   FileBeat--针对文本数据的一个轻量级数据接收处理器  监控相关文件变化发送请求

   Logstash--对接收到的数据进行清洗 过滤 发送到elasticsearch中进行存储分析