Spark
文章平均质量分 77
mrshen007
我是一只菜菜菜菜鸟,想要飞却怎么样也飞不高。
展开
-
spark集群参数配置理解
一、spark-env.sh图1 我自己的配置文件spark-env.shline 7中指定hadoop安装目录的配置路径,如果不配置这一项,就要把${HADOOP_HOME}/etc/hadoop下的所有xml文件拷贝到${SPARK_HOME}/conf下,而且不保证正确,所以最好配置这一项。line 9中如果不配置,在运行spark-submit的原创 2015-05-24 17:54:18 · 3370 阅读 · 0 评论 -
Spark RDD中cache和persist的区别
转自:http://www.ithao123.cn/content-6053935.html通过观察RDD.scala源代码即可知道cache和persist的区别:def persist(newLevel: StorageLevel): this.type = { if (storageLevel != StorageLevel.NONE && newLev转载 2015-09-13 17:29:37 · 7849 阅读 · 0 评论 -
scala中的var,val,immutable,mutable理解小结
最近项目要用到spark平台,无论是看源码还是写程序都需要用scala语言,接触了两天之后,对映射Map这里有点疑问,做了点测试之后记一记自己的想法。 首先,在scala中定义变量有var和val两种方式,前者定义一个可变量,后者定义一个不可变量,类似Java中的final或者C++中的const,如图1的示例可展示两者的区别。图1 尝试改变一个val定原创 2015-12-15 21:39:17 · 13498 阅读 · 8 评论