Kafka
碣石观海
幸甚至哉,歌以咏志
展开
-
Spark Streaming分析Kafka数据
一、环境开发环境: 系统:Win10 开发工具:scala-eclipse-IDE 项目管理工具:Maven 3.6.0 JDK 1.8 Scala 2.11.11 Spark 2.4.3 spark-streaming-kafka-0-10_2.11 (Spark Streaming 提供的Kafka集成接口) 注1....原创 2019-06-13 15:04:28 · 775 阅读 · 0 评论 -
Kafka部署及相关概念笔记
一、部署部署Kafka前需先部署Zookeeper,上篇博文:ZooKeeper部署两台虚拟机(CentOS Linux 7): 192.168.190.200 master 192.168.190.201 slave1所有节点都执行(hadoop用户)1. 下载 Kafka,安装版本:kafka_2.11-2.2.1.tgz,放于 /opt/ 目录下2. 解压...原创 2019-06-12 00:14:42 · 232 阅读 · 0 评论 -
Spark Streaming输出至Kafka
1. 由Spark Streaming 向Kafka写数据,没有现成的官方接口,需要利用Kafka提供的底层接口。2. 第一种写法,如下,会报错:nameAddrPhoneStream.foreachRDD(rdd => { //在Driver中执行 //初始化生产者配置 val props = new Properties() props.setProperty...原创 2019-06-17 17:55:21 · 2395 阅读 · 15 评论