大数据容器

对scala的数组和集合的一些常用的算子进行总结 以代码的形式进行一些练习 package com.aura.test object ScalaFunction { def main(args: Array[String]): Unit = { //常用的算子的练习 map reduce sort count filter var array = Array[Int](...

读取内存的数据 package com.aura.wordcount import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /** * 使用scala实现wordCount,读取内存中的List集合中的数据进行统计 */ object _01wordCount { def...

Spark程序运行方式 本文主要介绍Spark上传集群运行的过程及shell脚本的编写 脚本文件编写参数介绍 在linux环境下 spark-submit指令打印如下 [hadoop@hadoop01 MyShell]$ spark-submit Usage: spark-submit [options] <app jar | python file> [app arguments] ...

Spark的数据倾斜 1.数据倾斜的概念 (这个不用说了都懂)略 2.发生数据倾斜的现象 个别的task运行时间明显长于其他的task 发生OOM异常 3.发生数据倾斜的原因 spark只要是发生数据倾斜必然经历了shuffle,也就是shuffle是数据倾斜的必要条件 4.发生数据倾斜之后的解决方案 1.提高并行度 程序运行缓慢，第一反应大多是资源分配不足，并行度不够。提高并行度是我们做数据...