Kafka
最爱喝酸奶
一直要努力!
展开
-
k8s部署kafka集群
k8s以StatefulSet方式部署kafka集群:kafka-namespace.yamlapiVersion: v1kind: Namespacemetadata: name: kafkazookeeper-headless.yamlapiVersion: v1kind: Servicemetadata: name: zk-hs namespace: kafka labels: app: zkspec: selector: app: zk p原创 2020-06-12 17:40:01 · 7674 阅读 · 50 评论 -
k8s部署zookeeper集群
k8s以StatefulSet方式部署zookeeper集群:zookeeper-headless.yamlapiVersion: v1kind: Servicemetadata: name: zk-hs labels: app: zkspec: selector: app: zk ports: - port: 2888 name: server - port: 3888 name: leader-election clusterIP:原创 2020-06-06 15:19:31 · 10978 阅读 · 11 评论 -
ZooKeeper安装
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。Zookeeper 是 Apacahe Hadoop 的子项目,是一个树型的目录服务,支持变更推送,适合作为 Dubbo 服务的注册中心,工业强度较...原创 2019-05-21 10:28:16 · 321 阅读 · 0 评论 -
ZooKeeper与Kafka介绍
ZooKeeper介绍官网:http://zookeeper.apache.org/ZooKeeper是一个分布式协调服务,它的主要作用是为分布式系统提供一致性服务,提供的功能包括:配置维护、命名服务、分布式同步、组服务等。Kafka的运行依赖ZooKeeper。ZooKeeper最早起源于雅虎研究院的一个研究小组。在当时,研究人员发现,在雅虎内部很多大型系统基本都需要依赖一个类似的系统来...转载 2019-06-01 00:13:22 · 30831 阅读 · 3 评论 -
Kafka集群部署
部署ZooKeeper集群Kafka依赖ZooKeeper,所以需要先部署ZooKeeper集群。环境准备:主机名IPtest1192.168.30.128test2192.168.30.129test3192.168.30.130全部设置hosts:vim /etc/hosts192.168.30.128 test1192.168...原创 2019-06-02 11:50:44 · 1807 阅读 · 0 评论 -
ELFK + Kafka + Zabbix日志收集告警
环境准备角色划分:系统:CentOS 7es主节点/es数据节点/kibana/head 192.168.1.253kafka/zookeeper/logstash 192.168.1.253日志测试/filebeat 192.168.1.253关闭防火墙和s...原创 2019-06-26 14:40:55 · 2851 阅读 · 0 评论 -
ELFK + Kafka + Zabbix日志监控问题
其实之前部署过该架构,只不过是单机部署的,部署过程没遇到什么问题,具体部署过程参考装这里:https://blog.csdn.net/miss1181248983/article/details/93738593这次重新部署该架构,同时监控内外网机器的日志(文中ip及域名已做修饰)。在同时监控内外网机器上的日志时,我们加入了kafka,而与filebeat结合时出现了问题,内网机器的日志可以正常...原创 2019-07-24 14:26:09 · 2177 阅读 · 2 评论