spark
文章平均质量分 55
qq_33068519
这个作者很懒,什么都没留下…
展开
-
scala-隐式转换,actor
spark 2018.11.4 1.scala的隐式转换和隐式参数 1.1 定义: scala允许手动指定,将某种类型的对象转换成其他类型的对象 定义隐式转换函数,即implicit conversion function 函数命名规则一般建议 "one2one" 1.2 getClass 获取某个对象属于哪个类 class...原创 2018-11-04 16:31:42 · 184 阅读 · 0 评论 -
scala第一章
ArrayBuffer 长度可变的数组 使用前先导包 import scala.collection.mutable.ArrayBuffer val b = ArrayBuffer[Int]() 使用+=操作符,添加元素 b+=(2,3,4) 使用++=,可以添加其他集合的元素 b ++= Array(6,7,8,9) trimEnd() 从尾部截断指定...原创 2018-11-02 20:21:17 · 112 阅读 · 0 评论 -
inteliji+spark运行在本地
环境scala注意scala的版本要尽量和spark保持对应, 导入spark相应的jar包,自spark2.0还是几版本来着,没有统一的jar包了,所有要把所有的sparkjar包导进去,下载好spark压缩包,解压后,里面有一个文件夹jars,避免不必要的麻烦就把所有的jar包导进去, 然后,可以运行在本都的spark程序,但是,会提示缺少hadoop的东西,所以还要hadoop的下载好,配置...原创 2018-11-30 13:17:47 · 104 阅读 · 0 评论 -
spark的基本框架原理
spark框架基本原理和专业术语. spark的transformation和action操作汇总.转载 2018-12-07 19:54:17 · 307 阅读 · 0 评论