Elastic(3)+kibana+FileBeat+Mysql

最新推荐文章于 2022-05-08 17:42:57 发布
最新推荐文章于 2022-05-08 17:42:57 发布
阅读量348 收藏
点赞数
分类专栏： 学习心得 文章标签： elasticsearch kibana filebeat mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012499506/article/details/110221257
版权
1、ElasticSearch安装
机器IP地址为：192.168.1.111
Mysql提前安装完成
jar包下载：链接：
https://pan.baidu.com/s/1-Jonq9r8ydTDrSl1byGIbQ 
提取码：flut
1.1解压安装包
tar -zxvf elasticsearch-7.9.2-linux-x86_64.tar.gz
1.2修改elasticsearch.yml
cluster.name: elasticsearch
node.name: node-1
path.data: /home/els/data
path.logs: /home/els/logs
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["127.0.0.1"]
cluster.initial_master_nodes: ["node-1"]
1.3、切换非Root账号
[root]# useradd es 
[root]# passwd es 
[root]# chown -R es:es /home 
[root]# su es
1.4、启动和测试
[es]# cd /home/els/elasticsearch/bin 
[es]# ./elasticsearch -p /home/els/pid -d

浏览器访问：http://192.168.1.111:9200/，出现如下，启动成功

在这里插入图片描述

2、Kibana安装（与ES同一台机器）

2.1、解压
tar -zxvf kibana-7.9.2-linux-x86_64.tar.gz
2.2、kinana.xml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://127.0.0.1:9200"]
elasticsearch.requestTimeout: 30000
i18n.locale: "zh-CN"
2.3、切换es用户并启动
[es bin]# cd /home/kibana/bin/
[es bin]# ./kibana >./log.txt  2>&1 &
2.4、测试
http://192.168.1.111:5601

3、遇到的问题

3.1、kibana-Request Timeout after 30000ms
解决
	配置：elasticsearch.yml network.host
	network.host: 0.0.0.0
	注意关闭防火墙，
重启ES

配置：kibana.yml
	elasticsearch.hosts: ["http://127.0.0.1:9200"] #ES地址不能配置错误
重启Kibana
3.2、[master_not_discovered_exception] null
配置elasticsearch.yml中，initial_master_nodes的值与node.name一致；（单机）
	node.name: node-1
	cluster.initial_master_nodes: ["node-1"]
重启ES
3.3、其他问题详见
引用这篇文章（感谢作者）：https://blog.csdn.net/m0_37886429/article/details/72395809

4、FileBeat监控Mysql

学习参考地址：
https://helpcdn.aliyun.com/document_detail/170479.html#section-hyw-06v-cxp

构建图：
在这里插入图片描述

4.1、fileBean相关配置：
  • filebeat.yml
filebeat.inputs:
- type: log
  enabled: false
  paths:
    - /var/log/*.log

filebeat.config.modules:
  path: /etc/filebeat/modules.d/mysql.yml
  reload.enabled: true
  reload.period: 2s


setup.template.settings:
  index.number_of_shards: 1
setup.kibana:
  host: "192.168.1.111:5601"
output.elasticsearch:
  hosts: ["192.168.1.111:9200"]
  • filebeat module中mysql.yml配置，cat /etc/filebeat/modules.d/mysql.yml
 - module: mysql
 # Error logs
  error:
    enabled: true
    var.paths: ["/var/log/mysql/mysqld.log"]

  # Slow logs
  slowlog:
    enabled: true
    var.paths: ["/var/log/mysql/slow-mysql-query.log"]

  • var.paths # 设置为对应日志文件的路径。需要与MySQL配置文件中设置的路径保持一致

  • mysql配置文件如下：cat /etc/my.cnf，此处配置了慢查询和safe日志

[mysqld]
port=3306
user=mysql
basedir=/usr/local/mysql8.0
datadir=/usr/local/mysql8.0/data
socket=/tmp/mysql.sock

log_queries_not_using_indexes = 1
slow_query_log=on
slow_query_log_file=/var/log/mysql/slow-mysql-query.log
long_query_time=0
symbolic-links=0

[mysqld_safe]
log-error=/var/log/mysql/mysqld.log

5、Elastic集群（3集群，同一台机器开了3个端口）

  • 启动部署的方式和单台是一样的,配置如下:
安装目录
[root]# cd /home/es
[root]# ls
els1    els2    els3
5.1、els1
[root]# cd /home/es/els1
[root]# ls
data  elasticsearch  logs
[root]# vim /home/es/els1/elasticsearch/config/elasticsearch.yml
  • elasticsearch.yml
# 集群名称
cluster.name: elasticsearch
# 节点名称
node.name: node-1
# Path to directory where to store the data (separate multiple locations by comma):
path.data: /home/es/els1/data
# Path to log files:
path.logs: /home/es/els1/logs

# 网络绑定,写自己的主机
network.host: 0.0.0.0

# 设置对外服务的http端口
http.port: 9200
# 是否允许该节点存储数据,默认开启
node.data: true
# 是否可以成为master节点
node.master: true

# 设置节点间交互的tcp端口,默认是9300，为和单机分开，我设置9301
transport.tcp.port: 9301

#设置集群自动发现机器ip的集合
discovery.seed_hosts: ["192.168.1.111:9301","192.168.1.111:9302","192.168.1.111:9303"]
bootstrap.memory_lock: false
bootstrap.system_call_filter: false


# 指定可以成为 mater 的所有节点的 name 或者 ip，这些配置将会在第一次选举中进行计算
cluster.initial_master_nodes: ["node-1","node-2","node-3"]


#允许跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"
  • 启动（下面两个节点的启动方式类似）
./elasticsearch -p /home/es/els1/pid  -d
5.2、els2
[root]# cd /home/es/els2
[root]# ls
data  elasticsearch  logs
[root]# vim /home/es/els2/elasticsearch/config/elasticsearch.yml
  • elasticsearch.yml
# 集群名称
cluster.name: elasticsearch
# 节点名称
node.name: node-2
# Path to directory where to store the data (separate multiple locations by comma):
path.data: /home/es/els2/data
# Path to log files:
path.logs: /home/es/els2/logs

# 网络绑定,写自己的主机
network.host: 0.0.0.0

# 设置对外服务的http端口
http.port: 9300
# 是否允许该节点存储数据,默认开启
node.data: true
# 是否可以成为master节点
node.master: true

# 设置节点间交互的tcp端口,默认是9300，为和单机分开，我设置9301
transport.tcp.port: 9302

#设置集群自动发现机器ip的集合
discovery.seed_hosts: ["192.168.1.111:9301","192.168.1.111:9302","192.168.1.111:9303"]
bootstrap.memory_lock: false
bootstrap.system_call_filter: false


# 指定可以成为 mater 的所有节点的 name 或者 ip，这些配置将会在第一次选举中进行计算
cluster.initial_master_nodes: ["node-1","node-2","node-3"]


#允许跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"
5.3、els3
[root]# cd /home/es/els3
[root]# ls
data  elasticsearch  logs
[root]# vim /home/es/els3/elasticsearch/config/elasticsearch.yml
  • elasticsearch.yml
# 集群名称
cluster.name: elasticsearch
# 节点名称
node.name: node-3
# Path to directory where to store the data (separate multiple locations by comma):
path.data: /home/es/els3/data
# Path to log files:
path.logs: /home/es/els3/logs

# 网络绑定,写自己的主机
network.host: 0.0.0.0

# 设置对外服务的http端口
http.port: 9400
# 是否允许该节点存储数据,默认开启
node.data: true
# 是否可以成为master节点
node.master: true

# 设置节点间交互的tcp端口,默认是9300，为和单机分开，我设置9301
transport.tcp.port: 9303

#设置集群自动发现机器ip的集合
discovery.seed_hosts: ["192.168.1.111:9301","192.168.1.111:9302","192.168.1.111:9303"]
bootstrap.memory_lock: false
bootstrap.system_call_filter: false


# 指定可以成为 mater 的所有节点的 name 或者 ip，这些配置将会在第一次选举中进行计算
cluster.initial_master_nodes: ["node-1","node-2","node-3"]


#允许跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"
  • （非root账户）如果启动有读写问题，可能是权限问题，当前用的是es账号，切换到root
chown -R es:es /home

然后切换到es，重新启动
全部启动之后查看节点情况：http://192.168.1.111:9200/_cat/nodes?pretty

192.168.1.111 56 95 1 0.01 0.03 0.08 dilmrt * node-1
192.168.1.111 47 95 1 0.01 0.03 0.08 dilmrt - node-3
192.168.1.111 54 95 1 0.01 0.03 0.08 dilmrt - node-2

  • 查看所有的Index

    http://192.168.1.111:9200/_cat/indices

重启之后遇到的报错

max virtual memory areas vm.max_map_count [65530] is too low, increase
to at least [262144]

临时修改
    sysctl -w vm.max_map_count=262144
查看修改结果：
    sysctl -a|grep vm.max_map_count
    结果：vm.max_map_count = 262144

永久修改
    在/etc/sysctl.conf文件最后添加一行
    vm.max_map_count=262144
小咪的农场
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elasticsearch+kibana+filebeat+kafka+logstash+zookeeper 单机安装
wzj的博客
06-10 432
1.安装docker和java环境，java请自行百度，docker安装连接如下： https://blog.csdn.net/qq_38776582/article/details/90731768 2.安装elasticsearch 拉取elasticsearch镜像 docker pull docker.elastic.co/elasticsearch/elasticsearch:7.1....
阿里云ECS上使用docker搭建filebeat+kafka集群+zookeep集群+logstash+elasticsearch集群+kibana实现跨主机日志收集系统【四】
seowen的开发 小本子
03-06 411
该日志收集系统，是用来收集基于springCloud分布式系统的生产环境。为了方便数据统计和分析，我将日志生成的格式，转化为JSON格式。 具体如何生成，稍后另写一篇文章介绍。 线上架构流程图： 四、安装logstash 1、创建logstash 容器 ------------------------------安装 logstash ---------------------...
ElasticSearch入门 —— 集群搭建
weixin_34356310的博客
04-30 99
2019独角兽企业重金招聘Python工程师标准>>> ...
ES最新版7.9.0集群环境搭建（单机伪集群）
liuzhongye博客
09-09 2422
一、准备三台elasticsearch服务器 （上面写到单机环境的搭建，这里在windows上，以三个不同的端口，来模拟三台主机，单机一个伪集群） 把单机环境下载的7.9.0的安装包，复制三份，分别命名为：es-cluster-01，es-cluster-02，分别命名为：es-cluster-03。 首先要把3个ES服务器安装目录下的data目录以及下面的数据删除，确保三台主机数据一致。(不删除data/*，会导致集群创建失败。data下面就是lucene的索引库） 二、修改每台服务器的配
05 ElasticSearch集群
痞子王的博客
01-08 315
05 ElasticSearch集群 1 集群的相关概念 1.1 集群 cluster 一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能。一个集群由 一个唯一的名字标识，这个名字默认就是“elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集 群的名字，来加入这个集群 1.2 节点 node 一个节点是集群中的一个服务器，作为集群的一...
Elasticsearch运行异常：cluster.initial_master_nodes] must be configured
更新失败的博客
03-01 6125
问题描述如下： ERROR: [1] bootstrap checks failed [1]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_maste...
elasticsearch报错cluster.initial_master_nodes] must be configured
热门推荐
霓虹深处
07-30 1万+
报错 the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured 解决： 看配置文件el...
ELK -- es + kibana + logstash 读取配置mysql数据增量分析
qq_43539962的博客
05-31 422
es + kibana + logstash 读取配置mysql数据增量分析logstash镜像拉取配置去kibana看数据 ElasticSearch和kibana的docker安装配置上一个笔记有详细安装 链接: ELK – es+kibana+fileBeat读取Nginx日志文件分析 logstash镜像拉取 docker pull logstash:7.6.2 配置 先启动镜像 docker run -it -d logstash:7.6.2 把镜像文件拷贝出来 docker cp 1c
filebeat-elasticsearch(docker)+kibana 7.6.2(docker)日志采集并展现（centos7）
weixin_42868663的博客
10-13 677
filebeat-elasticsearch(docker)+kibana 7.6.2(docker)日志采集并展现（centos7） 一、docker安装elasticsearch+kibana 1）下载ealastic search和kibana docker pull elasticsearch:7.6.2 docker pull kibana:7.6.2 （2）配置 mkdir -p /mydata/elasticsearch/config mkdir -p /mydata/elasticsear
ELK kibana无法启动 filebeat配置收集日志
yincheng_fans的博客
04-28 1309
前言： 如果出现kibana界面一直处于 server is not ready yet 请在es-head界面删除.kibana,之后重启kibana,我卡在这里好久，折腾了半天才搞定，这次选择安装包的方式，费了不少时间。 我之前用docker镜像安装的elk就挺好的，kibana启动很顺利，选择docker镜像启动的方式推荐。 ELK的概念 ELK官网：http://www.elastic.c...
Elasticsearch集群搭建及各节点无法组成集群，各自都是master的解决办法
wangfengtong的博客
04-09 3543
Elasticsearch集群搭建及各节点无法组成集群，各自都是master的解决办法 1 下载，解压，版本当前最新，7.12.0 2 修改配置文件elasticsearch.yml 内容： #linux内核版本为2.6。而Elasticsearch的插件要求至少3.5以上版本 ， #禁用这个插件即可。 #bootstrap.system_call_filter:false # #network.host: 0.0.0.0 cluster.name: es-airbus node.nam
Elasticsearch集群搭建
Jak的博客
11-16 1921
一、相关概念 1.1单机 & 集群 单台Elasticsearch服务器提供服务，往往都有最大的负载能力，超过这个阈值，服务器性能就会大大降低甚至不可用，所以生产环境中，一般都是运行在指定服务器集群中。 除了负载能力，单点服务器也存在其他问题： 1.单台机器存储容量有限 2.单服务器容易出现单点故障，无法实现高可用 3.单服务的并发处理能力有限 配置服务器集群时，集群中节点数量没有限制，大于等于2个节点就可以看做是集群了。一般出于高性能及高可用方面来考虑集群中节点数量都是3个以上。.
Elasticsearch——集群搭建
Csea的博客
06-13 941
文章目录基本概念搭建集群集群脑裂文档读写原理写原理读原理 基本概念 比如有一个索引有3个主分片和3个副本分片，目前有3台服务器，那么主分片以及副本分片会有ES自己内部去分配具体哪个分片在哪台服务器上。同一个主分片和副本分片不会同时存在于同一台服务器节点，这是不允许的，因为一旦宕机，那么这个分片里的数据就都丢失了。 搭建集群 从原先的ES虚拟机克隆三台机器，然后进入到ES的data目录下删除nodes文件 同时修改三台es配置的cluster.name 再将node.name分别改为es-node1,e
Elasticsearch—生产环境集群核心配置
男儿当自强
09-18 3932
一. Elasticsearch相关配置 path.data 和 path.log 这两个配置的目录分别用来存放索引数据和日志，它们的默认路径位于$_ES_HOME的子文件夹内。这样有很大风险，特别是在升级Elasticsearch版本时，这些数据很可能被删除，在生产环境中可参考下面的配置 path:logs:/var/log/elasticsearchdata:/var/data/elasticsearch 另外path.data支持配置多个目录，每个目录都会用来存放数据，但是单个分...
es集群搭建
冉木的博客
08-17 507
一：配置集群 复制之前的elasticsearch-7.10.2文件夹给新的文件夹 cp elasticsearch-7.10.2 esCloud-129 -R 删除129中的数据库和日志 cd esCloud-129/ rm -rf data/ #进入logs删除日志 cd logs/ rm -rf * #打包129 cd ~ tar zcf esCloud-129.tar.gz esCloud-129 将包传到别的服务器 #跨服务器传送打好的包，放到root下（需要roo.
ElasticSearch 设置-配置（一）发现和集群形成设置
李玉志的博客
08-16 1845
文章目录配置ElasticSearch发现和集群形成设置字段数据缓存设置缓存大小监控字段数据 配置ElasticSearch 发现和集群形成设置 发现和集群形成受以下设置影响 discovery.seed_hosts：提供集群中符合主节点条件的节点列表。也可以是以逗号分隔的单个字符串。每个节点都是host:port或者host格式。host是由DNS解析出来的任意主机名称。IPV6必须用方括号括起来。如果一个主机名通过DNS解析出来多个地址，ElasticSearch会使用所有被解析出来的地址。 d
【ES】之集群详解
qq_41346335的博客
04-12 2641
文章目录ES的集群（3台服务器）概念实现测试集群脑裂（老版本可能出现）什么是脑裂如何解决?文档读写原理文档写原理文档读原理 ES的集群（3台服务器） 概念 实现 配置集群名称，保证每个节点的名称相同，如此就能都处于一个集群之内了 cluster.name: imooc-es-cluster 每一个节点的名称，必须不一样 node.name: es-node1 http端口（使用默认即可） http.port: 9200 主节点，作用主要是用于来管理整个集群，负责创建或删除索引，管理其他非ma
elasticsearch搭建遇到的问题整理合集2
qq_44932803的博客
05-08 1454
elasticsearch搭建遇到的问题整理合集2
【Docker】Docker Elasticsearch7 加装安全认证插件
Kida 的技术小屋（CSDN 版）
02-19 1701
之前文章中我们已经完成了Docker版本的Elasticsearch部署，为了增强安全性在此为Elasticsearch安装安全认证插件（2018年全球大规模的Elasticsearch攻击历历在目）。由于之前部署的Elasticsearch是Docker版本，本次也基于Docker版本进行说明。 为了简化操作步骤，这边将配合使用Docker Desktop（以下简称“DD”）来进行Docker操作（对应回脚本操作也是非常方便的，有空将重新整理出来）。首先打开DD的Dashbroad界面。在界面上选择对应的
mysql 结构化分析
最新发布
07-30
MySQL结构化分析是指将MySQL的慢查询日志进行解析和整理，...总结起来，MySQL结构化分析是通过使用Filebeat、Elasticsearch和Kibana等开源工具链，将MySQL的慢查询日志进行结构化解析和可视化查询分析的过程。[1][2][3]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值