ELK
文章平均质量分 94
ELK
我心中有一片海
走了那么远了,再坚持一下吧!
展开
-
Day08-kafka集群搭建,集群原理,压力测试及filebeat和logstash结合kafak实战案例
在软件工程中,压力测试是对系统不断施加压力的测试,是通过确定一个系统的瓶颈或者不能接收的性能点,来获得系统能提供的最大服务级别的测试。一个topic是生产者(producer)和消费者(consumer)进行逻辑的通信单元。分区可以暂时理解为分区编号,它包含该分区编号的所有副本,和磁盘的分区没关系。(2)当修改集群的配置参数后,压力测试可以协助运维人员去参考本次调优的效果;(1)根据公司的架构来调整咱们的生产者和消费者所在的环境;(3)压力测试的结果以后可以作为参考扩容集群的有效依据;原创 2024-07-18 08:30:00 · 1040 阅读 · 0 评论 -
Day07-ES集群加密,kibana的RBAC实战,zookeeper集群搭建,zookeeper基本管理及kafka单点部署实战
input {file {# 指定本地文件的路径# 指定读取文件的起始位置,但前提是该文件之前未读取过或者未在".sincedb"文件中记录。output {原创 2024-07-17 08:00:00 · 1153 阅读 · 0 评论 -
Day06-filebeat,logstash多实例,pipline,ElasticStack项目架构梳理及实战案例
02-写入地理位置-lat代表纬度,lon代表经度。filebeat的modules实战案例-了解。01-修改nginx的索引的地理位置映射。OLDBOYedu2023 教室07。完成的课堂的所有练习并整理思维导图.(2)修改pipline的配置文件。(3)启动logstash实例。(1)filebeat采集日志。(2)logstash分析数据。02-批量创建测试地理位置数据。(3)kibana出图展示。logstash配置文件。将数据发送到目的端。原创 2024-07-16 12:00:00 · 620 阅读 · 0 评论 -
Day05-filebeat常用的输出组件,logstash的输入输出组件及date,grok,geoip过滤插件实战案例
(2)filebeat采集数据到logstash。(4)基于命令行启动logstash实例。(4)基于命令行启动logstash实例。(1)编写logstash配置文件并启动。(2)启动filebeat实例并写入数据。(1)logstash配置文件编写。(3)验证logstash版本。(2)启动logstash实例。(1)logstash配置文件。(1)logstash配置文件。(2)filebeat配置文件。(2)安装logstash。(5)测试logstash。(5)测试logstash。原创 2024-07-15 12:00:00 · 840 阅读 · 0 评论 -
Day04-ES集群的文档读写流程,底层存储原理,filebeat的input组件常用组件实战案例及tomcat和nginx日志采集实战
(2)如果上一步搜索结果发现词条不在字典中,则结束本次搜索,如果在词典中,就需要去查看倒排表中的记录(倒排项);(3)根据倒排表中记录的倒排项来定位数据在哪个文档中存在,而后根据这些文档的"_id"来获取指定的数据;(1)首先根据用户需要查询的词条进行分词后,将分词后的各个词条字典进行匹配,验证词条在词典中是否存在;此时,如果我们查询文章内容包含"Jason Yin"的词汇的时候,就比较麻烦了,因为要进行全表扫描。创建索引的一种方式。指的是最小的存储和查询单元,换句话说,指的是您想要查询的关键字(词)。原创 2024-07-14 12:00:00 · 875 阅读 · 0 评论 -
Day03-索引模板,DSL语句,集群迁移API,ES集群状态统计API,KQL语句及分片重路由API实战
指的是创建索引的一种方式。用户可以根据需求自定义对应的索引模板。Elasticsearch 提供了基于JSON的完整 Query DSL(Domain Specific Language,领域特定语言)来定义查询。准备数据:(1)创建索引添加映射关系"item": {},"title": {},"price": {},"type": {},"group": {},},},},"city": {},(2)导入数据参考"Linux85期商品收集作业.json"内容即可。原创 2024-07-13 12:00:00 · 997 阅读 · 0 评论 -
Day02-ES集群常见术语,索引管理,文档管理,IK分词器,数据类型映射及kibana环境安装
当写入文档时,字段的数据类型会被ES动态自动创建,但有的时候动态创建的类型并符合我们的需求。这个时候就可以使用映射解决。使用映射技术,可以对ES文档的字段类型提前定义我们期望的数据类型,便于后期的处理和搜索.text:全文检索,可以被全文匹配,即该字段是可以被拆分的。keyword:精确匹配,必须和内容完全匹配,才能被查询出来。ip:支持Ipv4和Ipv6,将来可以对该字段类型进行IP地址范围搜索参考链接:(1)进入到IK分词器的插件安装目录(2)自定义字典德玛西亚艾欧尼亚亚索上号。原创 2024-07-12 12:00:00 · 756 阅读 · 0 评论 -
Day01-ElasticSearch的单点部署,集群部署,多实例部署,es-head和postman环境搭建
日志存储和检索filebeat:用于日志收集logstash:日志转换,也可以用于日志采集kibana:用于日志展示TB(PB)级别日志处理:kafkazookeeper单点部署集群部署二ES集群的常见术语分片副本索引文档集群的API基础操作索引管理文档管理IP地址配置主机名10.0.0.10110.0.0.10210.0.0.103配置好后拍快照。原创 2024-07-11 09:00:00 · 1281 阅读 · 0 评论