kafka
_s牧之
这个作者很懒,什么都没留下…
展开
-
1.kafka基本概念和集群安装
1.安装http://kafka.apache.org/downloads版本选择: kafka-0.10.0.1-src.tgz(asc,md5) 或Scala 2.11 -kafka_2.11-0.10.0.1.tgz(asc,md5) 安装目录 /opt/kafka_2.11-0.10.0.1配置环境变量:export KAFKA_HO...原创 2019-01-05 11:49:12 · 200 阅读 · 0 评论 -
2.kafka 控制台测试生产、消费
1. 创建主题 在客户端就可以创建指定主题名字topic1,指定partition 副本数为3(不能超过集群节点数),指定分区数目 4 ,指定zk节点./kafka-topics.sh --create --topic topic1 --replication-factor 3 --partitions 4 --zookeeper 10.10.100.215:2181Create...原创 2019-01-05 15:50:50 · 1184 阅读 · 0 评论 -
3.kafka主题、分区、副本关系
./kafka-topics.sh --create --topic topic2--replication-factor 2 --partitions 4 --zookeeper 10.10.100.215:218topic 主题创建了2个副本 ,4个分区向 topic2 写入hello ,这个hello 会被分配到 其中一个分区和该分区的副本,并且这个hello 在这个分区写入是有...原创 2019-01-05 17:06:36 · 6336 阅读 · 1 评论 -
4.kafka-eagle集群监控 安装
1.kafka-eagle 下载地址http://download.smartloli.org/ Kafka Eagle 1.2.8 was released on Jan 1, 2019. Direct File Downloadkafka-eagle-bin-1.2.8.tar.gz文档地址:https://ke.smartloli.org/解压:/opt/kafka-eag...原创 2019-01-09 15:03:55 · 533 阅读 · 0 评论 -
elk+kafka 分布式日志采集系统设计
Filebeat (每个微服务启动一个)--->Kafka集群--->Logstash(one)-->Elasticsearch集群一、数据流从文件端到Kafka 集群端,通过Filebeat1.下载 Filebeat#cd /opt/filebeat-6.3.2-linux-x86_64filebeat.inputs:- type: log enabl...原创 2019-01-09 15:51:52 · 1061 阅读 · 0 评论