gddemon的博客

spark 提交到yarn 的具体的步骤 一、 首先，SparkSubmit 首先将命令行的参数进行封装 new SparkSubmitArguments , 之后准备提交环境 prepareSubmitEnvironment，进而运行doRunMain 方法，其方法主要是运行runMain方法，该方法中，加载指定的类，查询指定类中的main方法，并且调用指定类中的静态的main方法 （main...

每日积累 DataFrame, DataSet DataFrame:类似RDD，是一个分布式数据容器；除数据以外，记录了数据的结构信息，即schema。 DataFrame和RDD的区别 例如RDD[User] spark不知道User的内部结构，然而DataFrame提供了具体的结构信息 DataSet 它时DataFrame API 的扩展；DataSet支持编解码器；样例类被用来在DataS...