![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
maketubu7
这个作者很懒,什么都没留下…
展开
-
kafka_2.11-0.10.2.1 的生产者 消费者的示例(new producer api)
环境,以及单独的pom.xml文件环境:java 1.8 ,kafka_2.11-0.10.2.1pom.xml文件如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3....原创 2018-08-09 13:47:31 · 2020 阅读 · 2 评论 -
spark2.2.0 kafka 0.10.2.1的createDirectStream第一次尝试
1、这里简单记录一下 kafka的简单操作命令 创建Topic $ bin/kafka-topics.sh --create --topic make2 --zookeeper make.spark.com:2181/kafka_10 --replication-factor 3 --partitions 3 --config max.message.bytes=128000...原创 2018-08-07 23:44:13 · 952 阅读 · 0 评论 -
sparkstream 2.2.0 结合 kafka_2.10-0.10.2.1 的消费示例演示
今天讲了kafka和sparkstream的一个简单结合,试着在网上找了一个例子进行实现1、相关配置 spark2.2.0,scala2.11.8,kafka_2.10-0.10.2.1,jdk1.82、这里是自己的pom.xml文件 如下<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://...原创 2018-08-08 19:14:26 · 1849 阅读 · 0 评论 -
pyspark 对接kafka 写入hive
1、pyspark 对接kafka需要依赖一些jar包 kafka-0-8或者kafka-0-10的关于kafka版本的全部的包 大概如下,反正如果jar包不全会有各种异常信息,到时候对应着补齐就行,注意自己的kafka和spark的版本 kafka_2.x-0.x.0.0.jar kafka-client-0.x.0.0.jar spark-sql-kafk...原创 2019-03-08 11:55:04 · 2459 阅读 · 0 评论