搬砖工具之Kafka
主要介绍消息队列Kafka的日常使用,包括Kafka的安装、配置文件、权限、基本命令和Demos的编写。后续会记录Kafka的设计思路与原理,以及源码解析等。
在风中的意志
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
阿里云构建Kafka单机集群环境
简介在一台ECS阿里云服务器上构建Kafa单个集群环境需要如下的几个步骤: 服务器环境 JDK的安装 ZooKeeper的安装 Kafka的安装 1. 服务器环境 CPU: 1核 内存: 2048 MB (I/O优化) 1Mbps 操作系统 ubuntu14.04 64位 感觉服务器性能还是很好的,当然不是给阿里打广告,汗。 随便向kafka里面发了点数据,性能图如下所示: 2.原创 2016-12-20 23:33:48 · 9347 阅读 · 0 评论 -
Kafka常用命令
Kafka基本操作命令感觉最近有一阵子没有玩Kafka了,都有点生疏了,我们今天就来讲解如何使用命令操作Kafka: 启动命令 创建Topic 查看Topic列表 删除Topic Producer和Consumer 写入和消费数据 其他命令 根据前一篇如何在阿里云上构建Kafka系统,想必大家都已经知道了如何配置Kafka了,但是有了Kafka后应当如何进行下一步的操作呢?这便是本节的主要内容了。1原创 2016-12-28 23:40:57 · 23808 阅读 · 0 评论 -
Kafka配置文件Server.properties文件的配置
基础配置-基础配置 -安全配置1 基础配置主要配置参数有 broker.id=0 port=9092 localhost=127.0.0.1 内网地址 advertised.host.name=阿里云外网映射地址 delete.topic.enable=true listeners = PLAINTEXT://your.host.name:9092 log.dirs=/tmp/kafka-lo原创 2016-12-29 00:27:25 · 4265 阅读 · 0 评论 -
Kafka Provider & Consumer Demo
前言 很久没有深入调研Kafka了,最近开始研究起来。最好能够弄一份源码,满满细读。 本文主要讲解如何写一个Kafka的官方样例。 PS: 哎,Kafka迭代了好几个版本了,周围的人也是物是人非。 Demo 本文的Demo主要包括如下的几个部分: Maven 依赖 Provider Consumer 启动入口 前置条件: JDK、Maven、Kafka集群(Kafka+Zoo...原创 2018-03-14 22:52:35 · 1232 阅读 · 0 评论 -
Kafka SASL配置 & Demo测试
引言 接到一个任务,调查一下Kafka的权限机制。捣鼓了2天,终于弄出来了。期间走了不少的坑。还有一堆不靠谱的家伙的博客。 Kafka版本 1.0.0 Scala 2.11 ZooKeeper 2.4.10 根据Kafka的官网文档可知,Kafka的权限认证主要有如下三种: SSL SASL(Kerberos) keytool&opssl脚本配置证书 SASL/PLAIN...原创 2018-03-14 23:46:32 · 24750 阅读 · 62 评论 -
Kafka常用命令(带SASL权限版)
前言 一般需要使用的Kafka原生命令多位于bin目录,其下具有的脚本如下 kafka-topics.sh kafka-console-producer.sh kafka-console-consumer.sh kafka-acls.sh kafka-consumer-groups.sh kafka-server-start.sh kafka-server-stop....原创 2018-07-23 12:07:27 · 10220 阅读 · 1 评论
分享