- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 用Spark 2.2中的结构化流API处理Kafka数据-端到端
http://www.geeksense.cn/apache-kafka2-0/本文译自Processing Data in Apache Kafka with Structured Streaming in Apache Spark 2.2,28 APRIL 2017, 类似编者翻译的另一篇文章，本文用实际的例子演示了Spark Structured Streaming和Ka
2017-07-24 11:24:22
2889
2
翻译 SparkSQL 操作 Json 格式数据
从嵌套列中选择Dots（.）可用于访问嵌套列的结构和映射。// input{ "a": { "b": 1 }}Python: events.select("a.b") Scala: events.select("a.b") SQL: select a.b from events// output{ "b": 1}扁平结构一个
2017-07-24 10:22:17
10343
转载 在Spark结构化流readStream、writeStream 输入输出，及过程ETL
本文翻译自DataBricks官方博客，主要描述了Apache Spark 2.0中推出的新功能Structured Streaming(结构化流处理)从Kafka中读取消息，实时处理后再写入不同的下游系统的使用示例。结构化流处理API使得以一种兼具一致性和容错性的方法开发被称为连续应用的端到端流处理应用成为可能。它让开发者不用再去深究流处理本身的细节，而且允许开发者使用类似Spark
2017-07-21 16:54:03
15279
转载 Spark结构式流编程指南
http://www.cnblogs.com/cutd/p/6590354.html概览Structured Streaming 是一个可拓展，容错的，基于Spark SQL执行引擎的流处理引擎。使用小量的静态数据模拟流处理。伴随流数据的到来，Spark SQL引擎会逐渐连续处理数据并且更新结果到最终的Table中。你可以在Spark SQL上引擎上使用DataSet/
2017-07-19 11:30:28
421
原创 「Spark-2.2.0」Structured Streaming - Watermarking操作详解
很高兴spark-2.2.0于昨天发布，结构化流式处理在该版本中可用于生产环境。Spark Streaming 中 Exactly Once 指的是：每条数据从输入源传递到 Spark 应用程序 Exactly Once每条数据只会分到 Exactly Once batch 处理输出端文件系统保证幂等关系streaming DataFrames/Datase
2017-07-13 15:13:48
6580
转载 Spark+Kafka的Direct方式将偏移量发送到Zookeeper的实现
Apache Spark 1.3.0引入了Direct API，利用Kafka的低层次API从Kafka集群中读取数据，并且在Spark Streaming系统里面维护偏移量相关的信息，并且通过这种方式去实现零数据丢失(zero data loss)相比使用基于Receiver的方法要高效。但是因为是Spark Streaming系统自己维护Kafka的读偏移量，而Spark Streamin
2017-07-12 14:25:44
533
原创 spark整合kafka打包运行错误处理
scala> val kafkaDS= KafkaUtils.createDirectStream[String,String,StringDecoder,StringDecoder](ssc,kafkaParams,topics).map(_._2)java.lang.NoClassDefFoundError: com/yammer/metrics/Metrics at kaf
2017-07-12 11:13:49
1375
原创 「官文译」Spark 结构Streaming-2.1.1 + Kafka 集成指南 (Kafka broker version 0.10.0 or higher)
创建Kafka源（Batch批次）源中的每一行都具有以下模式：Each row in the source has the following schema:ColumnTypekeybinaryvaluebinarytopicstringpartitioni
2017-07-11 15:47:23
3657
原创 「官文译」Spark Streaming2.1.1 + Kafka集成指南（Kafka代理版本0.8.2.1或更高版本）
这里我们解释如何配置Spark Streaming来接收来自Kafka的数据。有两种方法 - 使用Receivers和Kafka的高级API的旧方法，以及一种新方法（在Spark 1.3中引入），而不使用Receivers。他们有不同的编程模型，性能特征和语义保证，所以阅读更多的细节。两种方法都被认为是当前版本的Spark的稳定API。方法1：基于接收者的方法此方法使用Receiv
2017-07-11 14:55:45
966
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人