Kafka
图特摩斯科技
数据库方向-图数仓的发明者,时序、多维、异构、动态+静态知识图谱数据库AbutionGraph发明者。
展开
-
「官文译」Spark Streaming2.1.1 + Kafka集成指南(Kafka代理版本0.8.2.1或更高版本)
这里我们解释如何配置Spark Streaming来接收来自Kafka的数据。有两种方法 - 使用Receivers和Kafka的高级API的旧方法,以及一种新方法(在Spark 1.3中引入),而不使用Receivers。他们有不同的编程模型,性能特征和语义保证,所以阅读更多的细节。两种方法都被认为是当前版本的Spark的稳定API。 方法1:基于接收者的方法 此方法使用Receiv原创 2017-07-11 14:55:45 · 956 阅读 · 0 评论 -
spark整合kafka打包运行错误处理
scala> val kafkaDS= KafkaUtils.createDirectStream[String,String,StringDecoder,StringDecoder](ssc,kafkaParams,topics).map(_._2) java.lang.NoClassDefFoundError: com/yammer/metrics/Metrics at kaf原创 2017-07-12 11:13:49 · 1366 阅读 · 0 评论 -
Spark+Kafka的Direct方式将偏移量发送到Zookeeper的实现
Apache Spark 1.3.0引入了Direct API,利用Kafka的低层次API从Kafka集群中读取数据,并且在Spark Streaming系统里面维护偏移量相关的信息,并且通过这种方式去实现零数据丢失(zero data loss)相比使用基于Receiver的方法要高效。但是因为是Spark Streaming系统自己维护Kafka的读偏移量,而Spark Streamin转载 2017-07-12 14:25:44 · 523 阅读 · 0 评论 -
「官文译」Spark 结构Streaming-2.1.1 + Kafka 集成指南 (Kafka broker version 0.10.0 or higher)
创建Kafka源(Batch批次) 源中的每一行都具有以下模式: Each row in the source has the following schema: Column Type key binary value binary topic string partition i原创 2017-07-11 15:47:23 · 3639 阅读 · 0 评论