01_ELK数据采集处理:数据抓取、json解析导入等(靠谱方案,亲身实践总结)

由于公司很多软件系统,需要做性能方面的指标监控,

最近和同事沟通由我来做这块ELK数据采集处理,之前也是学过es,

在其它公司项目有接触 es  这方面的技术,今天想着51劳动节不是很忙,

把整个实现流程先记录一下,欢迎大家一起沟通交流。。。

环境

Win10 + Docker Desktop

软件/插件安装

es

创建网络

因为docker和kibana需要共享同一个网络,所以利用docker创建一个共享网络es-net

docker network create es-net

查看共享网络

docker network ls

拉取镜像

docker pull elasticsearch:7.12.1

运行容器 Elasticsearch(windows-docker)

docker run -d --name es -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" -e "discovery.type=single-node" -v es-data:/usr/local/elasticsearch7.12.1/data -v es-plugins:/usr/local/elasticsearch7.12.1/plugins -v es-logs:/usr/local/elasticsearch7.12.1/logs --privileged --network es-net -p 9200:9200 -p 9300:9300 elasticsearch:7.12.1

验证安装结果

http://127.0.0.1:9200/

Ik分词器-进入容器安装插件

cmd

docker exec -it es bash

cd /usr/share/elasticsearch/bin

./elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip

Kibana

拉取镜像

docker pull kibana:7.12.1

运行容器

docker run -d --name kibana -e ELASTICSERACH_HOSTS=http://es:9200 --network=es-net -p 5601:5601 kibana:7.12.1

配置文件位置

通常所在目录

Windows: C:\Program Files\Kibana\config\kibana.yml

Linux: /etc/kibana/kibana.yml

macOS: /usr/local/etc/kibana.yml

通过 win+docker 下载 Kibana配置文件的目录

docker exec -it <kibana-container-name> /bin/bash

cat /usr/share/kibana/config/kibana.yml

验证安装结果

http://127.0.0.1:5601/

Logstash

拉取镜像

docker pull logstash:7.12.1

启动命令

docker run -d -p 5044:5044 -p 9600:9600 --name logstash --network=es-net logstash:7.12.1

es-net 跟之前 es、kibana对应

软件安装参考资料

Docker上安装部署Elasticsearch(ES)详细教程

Docker上安装部署Elasticsearch(ES)详细教程_docker安装es-CSDN博客

Windows基于Docker安装Elasticsearch和 kibana笔记

Windows基于Docker安装Elasticsearch和 kibana笔记_windows docker elasticsearch-CSDN博客

Docker安装Logstash

Docker安装Logstash_docker 安装logstash-CSDN博客

导入json数据参考资料

Wireshark+Elasticsearch+Kibana打造流量回溯系统

Wireshark+Elasticsearch+Kibana打造流量回溯系统 - 简书

ElasticSearch导入txt文本或者json文本

https://www.cnblogs.com/ttzsqwq/p/11077574.html

将json数据导入到ES集群——解决方案对比&填坑日记

https://blog.51cto.com/u_15812686/8699742

解析 JSON 文件并导入到 Elasticsearch 中

Logstash:解析 JSON 文件并导入到 Elasticsearch 中_logstash解析json数据-CSDN博客

具体文件配置

见上面-参考资料

需要注意的是,因为是自己的机器容器启动,所以不能使用127.0.0.1,

应该使用本机真实ip192.168.xxx.xxx(自己本地ip),否则就会报错

  • 18
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

被开发耽误的大厨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值