![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
日志处理
文章平均质量分 61
H4ppyD0g
中科院某研究所在读学生,主要方向为云计算/云原生安全,博客记录平时学习过程中的笔记,不免参考各种文章资料(如有侵权请联系删除),也会存在一些知识误区,欢迎师傅们指正。付费专栏和资源都是花费长时间整理的,收费仅作为整理资料的劳动收获,如果原作者认为侵权也请联系删除。
展开
-
kafka是啥?虽然很难学,但是实验入门很简单
Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。kafka的三个基本组成是生产者、消费者、broker(生产者和消费者之间的消息队列服务器)。发布/订阅:消息的发布者不会将消息直接发送给特定的订阅者,而是将发布的消息分为不同的类别,订阅者只接受感兴趣的消息。缓冲/消峰:缓解大流量情况,解决生产消息和消费消息的处理速度不一样的情况。异步处理机制:允许用户把一个消息放入队列,但并不立即处理它。原创 2022-09-25 16:26:40 · 2062 阅读 · 0 评论 -
logstash
文章目录操作说明elasticsearch => json fileelasticsearch => elasticsearchjson file => elasticsearch操作说明官方文档https://www.elastic.co/guide/en/logstash/current/getting-started-with-logstash.html只需要自己编辑一个配置文件,比如lab.conf然后运行logstash.bat -f lab.conf原创 2021-10-27 11:10:04 · 103 阅读 · 0 评论 -
python操作elasticsearch
from elasticsearch import Elasticsearch# 删除索引def delete_indices(es, my_index): if es.indices.exists(my_index): # 确认删除再改为True es.indices.delete(index=my_index) # 删除# 创建索引示例1def create_indices(es, my_index): # 创建 es.indices.creat原创 2021-10-27 09:40:49 · 701 阅读 · 0 评论 -
elasticsearch
文章目录restful、lucene简介elasticsearch核心概念elasticsearch与数据库对比kibana操作elasticsearchrestful、lucene简介RESTful表述性状态转移(REpresentational State Transfer)ful代表形容词,RESTful代表满足REST规则。使用基于RESTful架构的话需要遵循统一的对外接口原则。接口使用标准的http方法,如GET、POST、PUT等。个人理解由于elasticsearch就是基于原创 2021-10-26 21:09:34 · 707 阅读 · 0 评论 -
ELK日志处理方案及环境搭建
文章目录组件介绍ELK、EFKELK搭建组件介绍Elasticsearch是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。Elasticsearch是用java开发的,并作为apache许可条款下的开源项目发布。Logstash主要用来日志的搜集、分析、过滤;可以用它收集日志、转换日志、解析日志并将他们作为数据提供给其他模块调用;以及将数据发送到向Elasticsearch等数据库中。FilebeatFielbeat是用于转发和采集日志数据的轻量级服务,能监原创 2021-10-25 15:04:56 · 167 阅读 · 0 评论 -
docker搭建elasticsearch、logstash、kibana
获取镜像sudo docker pull elasticsearch创建容器sudo docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d --name=容器名字 -p 9200:9200 -p 9300:9300 镜像id浏览器访问http://ip:9200,如果几行json格式的信息,则说明搭建成功原创 2021-10-21 20:08:01 · 454 阅读 · 0 评论