spark
CottonDuke
这个作者很懒,什么都没留下…
展开
-
spark 函数
“flatMap “函数的一半功能和map函数一样,不过有个要求,传入的函数在处理完后返回值必须是List(应该是Seq),如果结果不是List(Seq),那么将出错。也就是说,传入的函数是有要求的——返回值是Seq才行。这样,每个元素处理后返回一个List,我们得到一个包含List元素的List,flatMap自动将所有的内部list的元素取出来构成一个List返回。 flatMapV转载 2016-10-18 09:41:17 · 763 阅读 · 0 评论 -
scala关键字
seladed封闭 http://www.jianshu.com/p/3dd9b53801b0 java关键字和scla关键字对比 http://www.tuicool.com/articles/nu26zqz原创 2016-09-13 10:53:23 · 1017 阅读 · 0 评论 -
spark本地模式
spark-shell 还可带参数,设置开启几个线程 spark-shell --master local[3] 设置开启3个线程去跑任务原创 2016-09-03 09:19:37 · 1027 阅读 · 0 评论 -
spark on yarn
Yarn: ResourceManager, NodeManager, ApplicationMaster, Container Yarn 集群参数调优(以CDH集群为例) 一、CPU配置: ApplicationMaster 虚拟 CPU 内核 yarn.app.mapreduce.am.resource.cpu-转载 2016-11-09 22:40:38 · 1090 阅读 · 0 评论 -
spark 读取hive parquet
http://dblab.xmu.edu.cn/blog/1091-2/转载 2017-05-04 21:16:09 · 1807 阅读 · 0 评论 -
spark 问题
Q:Application application_1505791560225_0911 failed 2 times due to AM Container for appattempt_1505791560225_0911_000002 exited with exitCode: -1000 For more detailed output, check application trac原创 2017-10-15 15:28:51 · 1437 阅读 · 0 评论 -
1-spark编程基础
采用maven编程,在pom.xml中添加需要的jar包<properties> <scala.version>2.11.8</scala.version> <spark.version>2.1.0</spark.version> <hadoop.version>2.7.3<...原创 2018-07-13 15:34:28 · 434 阅读 · 0 评论