kafka
Angus博客
知足长乐,助人为乐,自得其乐。
展开
-
EFLK海量日志实时分析检索系统应用实践-11.启动filebeat,分析,输入到kafka,redis和logstash
启动启动日志用157的服务器登陆,输入错误密码。156会产生一条日志日志是json格式 包含了时间元数据错误信息等等登陆Kafka服务器,查看topic 列表 发现创建了 oslogs消费Kafka数据会发现数据很多,而我们只需要message数据处理方式,修改filebeat 配置文件放开processors drop_fields 就是删除指定字段,这样传递给Kafka 的时候 数据就只有自己需要的字段 重启原创 2021-09-07 21:33:27 · 241 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-9.Kafka集群的基本命令,生产和消费数据
显示列表创建topic查看状态生产消息消费消息删除topic原创 2021-09-07 21:24:18 · 158 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-7.Kafka分布式集群构建部署过程
bin目录 包含了很多shell脚本config 配置文件 主要掌握 server.peopertieslogs 存储了本身的日志文件,还有消息文件配置文件配置:brokerid 唯一 不能相同listeners 监听器 配置 配置本身服务器ip和吗,默认监听端口默认的消息存储路径,在logs下,,也可以自己修改。。num.partitions = 6 partition配置默认消息保存时间segment 大小 一个G 超过自动创建新文...原创 2021-09-07 21:18:19 · 179 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-6.Kafka 的概念与角色术语
原创 2021-09-07 21:14:20 · 171 阅读 · 0 评论