ELK部署

ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。

Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。

Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。

Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据

elasticsearch安装
安装参考 https://www.elastic.co/guide/en/elasticsearch/reference/7.6/targz.html
安装Java环境 ，各个版本支持的Java环境参考https://www.elastic.co/cn/support/matrix#matrix_jvm
yum install -y java-1.8.0*
下载tar包
https://www.elastic.co/cn/downloads/past-releases#elasticsearch
创建用户
groupadd elk
useradd elk -g elk
创建目录
mkdir -p /data/elasticsearch/data
mkdir /data/elasticsearch/logs
修改属主属组
chown -R elk:elk /data
tar -xvf elasticsearch-6.4.2.tar.gz
mv elasticsearch-6.4.2 /usr/local/
cd /usr/local/
mv elasticsearch-6.4.2 elasticsearch
chown -R elk:elk elasticsearch
cd elasticsearch/config
vim elasticsearch.yml
修改
cluster.name: my-test
node.name: node-1
path.data: /data/elasticsearch/data
path.log: /data/elasticsearch/logs
bootstrap.memory_lock: true
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: [“host1”]
cluster.initial_master_nodes: [“node-1”]
http.cors.enabled: true
http.cors.allow-origin: “*”
http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE
http.cors.allow-headers: “X-Requested-With, Content-Type, Content-Length, X-User”
vim /etc/security/limits.conf

• soft nofile 65536
• hard nofile 65536
• soft nproc 32000
• hard nproc 32000
• hard memlock unlimited
• soft memlock unlimited
  vim /etc/systemd/system.conf 添加
  DefaultLimitNOFILE=65536
  DefaultLimitNPROC=32000
  DefaultLimitMEMLOCK=infinity
  systemctl daemon-reexec 才能让system.conf 生效
  vim /etc/sysctl.conf
  添加vm.max_map_count=655360
  保存后，执行sysctl -p
  su elk 使用elk账号运行elasticsearch
  cd /usr/local/elasticsearch/bin
  执行./elasticsearch -d 后台运行，但是窗口关闭后就没了，可以用supervisor来让一只后台运行
  安装elasticsearch-head插件
  使用git安装elasticsearch-head
  yum install -y npm
  git clone git://github.com/mobz/elasticsearch-head.git
  cd elasticsearch-head
  npm install
  nohup npm run start >/dev/null & 这样关掉终端后就打不开了，要用screen
  新建一个screen
  screen -S ELK
  操作之后挂起 ctrl+a 在按d
  查看挂起的 screen -ls
  连接 screen -r ELK
  关闭 ctrl+a+k 或者exit

logstash安装
安装手册
https://www.elastic.co/guide/en/logstash/current/input-plugins.html
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
vim /etc/yum.repos.d/logstash.repo
[logstash-7.x]
name=Elastic repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

yum -y install logstash
ln -s /usr/share/logstash/bin/logstash /bin/
logstash -f /etc/logstash/conf.d 启动 启动的配置文件都放这个目录下

安装kibana

官方安装手册:https://www.elastic.co/guide/en/kibana/current/install.html
yum 安装
cd /etc/kibana/
vim kibana.yml

server.port: 5601

server.host: “0.0.0.0”

elasticsearch.url: “http://192.168.1.202:9200”

kibana.index: “.kibana”

/usr/share/kibana/bin
nohup kibana &