搬砖工具之Kafka
主要介绍消息队列Kafka的日常使用,包括Kafka的安装、配置文件、权限、基本命令和Demos的编写。后续会记录Kafka的设计思路与原理,以及源码解析等。
在风中的意志
这个作者很懒,什么都没留下…
展开
-
阿里云构建Kafka单机集群环境
简介在一台ECS阿里云服务器上构建Kafa单个集群环境需要如下的几个步骤:服务器环境JDK的安装ZooKeeper的安装Kafka的安装1. 服务器环境CPU: 1核 内存: 2048 MB (I/O优化) 1Mbps操作系统 ubuntu14.04 64位 感觉服务器性能还是很好的,当然不是给阿里打广告,汗。 随便向kafka里面发了点数据,性能图如下所示: 2.原创 2016-12-20 23:33:48 · 9047 阅读 · 0 评论 -
Kafka常用命令
Kafka基本操作命令感觉最近有一阵子没有玩Kafka了,都有点生疏了,我们今天就来讲解如何使用命令操作Kafka:启动命令创建Topic查看Topic列表删除TopicProducer和Consumer 写入和消费数据其他命令根据前一篇如何在阿里云上构建Kafka系统,想必大家都已经知道了如何配置Kafka了,但是有了Kafka后应当如何进行下一步的操作呢?这便是本节的主要内容了。1原创 2016-12-28 23:40:57 · 23515 阅读 · 0 评论 -
Kafka配置文件Server.properties文件的配置
基础配置-基础配置 -安全配置1 基础配置主要配置参数有broker.id=0port=9092localhost=127.0.0.1 内网地址advertised.host.name=阿里云外网映射地址delete.topic.enable=truelisteners = PLAINTEXT://your.host.name:9092log.dirs=/tmp/kafka-lo原创 2016-12-29 00:27:25 · 4047 阅读 · 0 评论 -
Kafka Provider & Consumer Demo
前言很久没有深入调研Kafka了,最近开始研究起来。最好能够弄一份源码,满满细读。本文主要讲解如何写一个Kafka的官方样例。 PS: 哎,Kafka迭代了好几个版本了,周围的人也是物是人非。Demo本文的Demo主要包括如下的几个部分:Maven 依赖ProviderConsumer启动入口前置条件: JDK、Maven、Kafka集群(Kafka+Zoo...原创 2018-03-14 22:52:35 · 968 阅读 · 0 评论 -
Kafka SASL配置 & Demo测试
引言接到一个任务,调查一下Kafka的权限机制。捣鼓了2天,终于弄出来了。期间走了不少的坑。还有一堆不靠谱的家伙的博客。Kafka版本 1.0.0 Scala 2.11 ZooKeeper 2.4.10根据Kafka的官网文档可知,Kafka的权限认证主要有如下三种:SSLSASL(Kerberos) keytool&opssl脚本配置证书SASL/PLAIN...原创 2018-03-14 23:46:32 · 24076 阅读 · 62 评论 -
Kafka常用命令(带SASL权限版)
前言一般需要使用的Kafka原生命令多位于bin目录,其下具有的脚本如下kafka-topics.sh kafka-console-producer.shkafka-console-consumer.shkafka-acls.shkafka-consumer-groups.shkafka-server-start.sh kafka-server-stop....原创 2018-07-23 12:07:27 · 9498 阅读 · 1 评论