把习惯当成一种生活

Spark SqlThis module provides support for executing relational queries expressed in either SQL or the DataFrame/Dataset API.Spark SQL is broken up into four subprojects:Catalyst (sql/catalyst) - An implementation-agnostic framework for manipulating tre

spark内存模型内存模型内存模型1、ExecutionMemory用来计算shuffles、joins、sorts和aggregations2、Storage不是一个真的内存工具，它只是把内存作为他的LRU缓存，Storage默认情况下占executor.memory的54%，用于缓存和传播跨集群的内部数据3、unroll部分内存： spark.storage.unrollFraction。当我们需要在内存展开数据块的时候使用，那么为什么需要展开呢？因为spark允许以序列化和非序列化两种方式存

Scala 编程基础Scala 类Scala 范型类型范围界定 (符号 <:)视图界定（符号<%）为什么要了解Scala编程基础，因为在Spark开发中，经常碰到Scala语法，理解这些语法便于顺利Scala 类Scala 范型class Person[T](name:T)class Student[T,S](name:T, age:S) extends Person(name)object GenericTypeTest { def main(args:Array[Strin

spark 开发总结

为了省去每次都创建spark对象，写了一个基础类SparkSessionBase，没想到集群抛出异常：A master URL must be set in your configuration。原因就在于spark对象在main函数之外创建，driver就不会把这个spark对象分发到其他work节点上。class SparkSessionBase { protected val s...

本文引用了高兴的博客中的一篇文章spark架构中的部分内容。Spark架构图：JVM堆空间下Spark的内存默认分配情况：1、Spark允许利用90%的堆空间，剩余10%用作jvm系统中的后台进程占用，剩下20%的safe内存，存储用户自定的对象等。2、Spark不是一个真的内存工具，它只是把内存作为他的LRU缓存，Storage默认情况下占executor.memory的54%，用来...