Spark/Scala
文章平均质量分 64
小小程序员1986
这个作者很懒,什么都没留下…
展开
-
Scala学习笔记
1类型自动匹配(模式匹配)2函数是有值的(匿名函数是函数的常态)递归函数需要指定返回值3.内部类隶属于外部类的实例本身,而java内部类属于外部类,对外部类的依赖路径依赖4.object类似于java中的静态内部类 里面的所有成员都是静态的,适用于配置文件静态都是用来修饰类的内部成员的。比如静态方法、静态成员变量。它唯一的作用就是随着类的加载(而不是随着对象的产生)而产生,以致可以用类名+静态成员原创 2016-08-28 14:03:59 · 1031 阅读 · 0 评论 -
spark概述与编程模型
spark快的原因1.内存计算2.DAGspark shell已经初始化好了SparkContext,直接用sc调用即可650) this.width=650;" src="http://s3.51cto.com/wyfs02/M00/74/1B/wKioL1YUkdDDHekLAASNB2OLfro689.jpg" title="1-1.avi_20151007_113155.996.jpg"原创 2016-08-28 14:04:45 · 470 阅读 · 0 评论 -
spark内核
术语解释650) this.width=650;" src="http://s3.51cto.com/wyfs02/M00/74/1E/wKioL1YVOS2RFXqZAAYxfnqkPtI595.jpg" title="捕获.PNG" alt="wKioL1YVOS2RFXqZAAYxfnqkPtI595.jpg" />Executor 多线程的方式运行650) this.width=650;原创 2016-08-28 14:04:56 · 407 阅读 · 0 评论 -
spark调优
650) this.width=650;" src="http://s3.51cto.com/wyfs02/M01/74/51/wKioL1YZ1x-gwr9zAAKO2nNtplE457.jpg" title="捕获.PNG" alt="wKioL1YZ1x-gwr9zAAKO2nNtplE457.jpg" />650) this.width=650;" src="http://s3.51cto原创 2016-08-28 14:04:59 · 390 阅读 · 0 评论