kafka
V_Gbird
talk is cheap
展开
-
关于win10下搭建kafka0.10的一些坑
使用: scala版本为2.10 windows10专业版 zookeeper 3.4.8搭建kafka0.10版本在zk搭建完成后启动kafka时(启用命令为在kafka根目录下使用 bin\windows\kafka-server-start.bat config\server.properties)遇到系统命令不正确的情况,通过打开回显功能,发现该命令调用了同在windows目录下的ka原创 2017-10-16 23:01:31 · 1239 阅读 · 2 评论 -
SparkStreaming + Kafka集成指南(Kafka版本要求0.8.2.1以上)
注意:spark2.3版本已经取消了对kafka0.8版本的支持   这里主要对如何配置SparkStreaming程序接受kafka的数据进行介绍。目前有两种方式:较老的方式是通过使用Receivers和Kafka的高阶API,新的方式(从spark1.3版本开始)不在使用Receivers。这是两种不同的编程模型、有不同的性能特征和不同的语义,更多细节求阅...翻译 2018-05-15 21:31:47 · 1783 阅读 · 0 评论 -
SparkStreaming + Kafka集成指南(Kafka版本要求0.10.0以上)
SparkStreaming集成Kafka0.10版本与集成0.8版本Kafka的直接连接方式类似。提供了简单的并行性以及Kafka分区和Spark分区之间一对一的映射,以及元数据和偏移量的访问。然而,因为使用新版本的消费者的API而不是简单方式的API造成了一些使用上的不同。当前版本的APi是试验性的,因此可能会被修改。引入对于scala或者java使用Maven或SBT的应用,...翻译 2018-05-25 21:25:06 · 9568 阅读 · 3 评论 -
kafka(1.1版本)源码阅读记——深入kafka-server-start.sh脚本
本例中使用非守护进程模式,与守护进程模式的比较会在后面介绍Kafka集群的启用只需要通过./kafka-server-start.sh ../config/server.properties来进行,可以说是非常的简单,但是这个脚本之中又作了哪些事情配置了哪些配置呢,我们一步步来看看。在kafka-server-start.sh脚本中会首先对输入的参数做合法校验,并设置当前该脚本所在文件目录...原创 2018-08-02 20:56:38 · 4244 阅读 · 2 评论 -
kafka(1.1版本)源码阅读记(二)——Kafka.Utils.VersionInfo类在kafka启动过程简介
该方法比较简单,调用AppInfoParser类中的getVersion方法和getCommitId方法。打印两个方法的返回值,随后退出。public class AppInfoParser { private static final Logger log = LoggerFactory.getLogger(AppInfoParser.class); private s...原创 2018-09-03 13:09:40 · 1011 阅读 · 0 评论