博客专栏  >  云计算/大数据   >  Spark的那些事

Spark的那些事

分享 探讨spark相关的那些事。 spark相关的架构 开发 源码和坑。 java coder & spark

关注
1 已关注
5篇博文
  • spark快速入门

    Apache Spark 是一个新兴的大数据处理通用引擎,提供了分布式的内存抽象。Spark 正如其名,最大的特点就是快(Lightning-fast),可比 Hadoop MapReduce...

    2017-07-23 19:59
    2100
  • Spark的那些事(二)Structured streaming中Foreach sink的用法

    Structured streaming默认支持的sink类型有File sink,Foreach sink,Console sink,Memory sink。 特别的说明一下Foreach sin...

    2018-03-22 18:07
    372
  • Spark的那些事(四) java操作kudu全示例(含sparksql)

    上文提到,使用kudu等列式存储将数据以update模式写入kudu. 下面说一下java操作kudu的相关demo。java操作kudu在git上有相关demo,而spark操作kudu并没有。c...

    2018-03-22 18:10
    861
  • spark的那些事(三) Structured streaming 窗口期内存数据的查询

    之前的文章中提过,structured streaming处理流数据,如果使用聚合,将会有window的概念,对应属性watermark.不知你是否了解过druid,druid处理数据同样有窗口期的概...

    2018-03-22 18:09
    231
  • Spark的那些事(一)一文了解spark

    Spark是一个快速的集群化的实时计算系统。支持Java, Scala, Python 和R语言的高级API。 一 Spark生态: 支持Spark Sql用于sql和结构化数据查询处理;支持...

    2018-01-15 14:29
    360

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部