博客专栏  >  云计算/大数据   >  spark学习

spark学习

spark学习,包括Scala,spark

关注
0 已关注
9篇博文
  • windows配置spark运行环境

    1.java配置 使用jdk1.8 配置略 2.下载、配置scala 官网下载scala,解压放到自己的目录下。目录不要有空格 把Scala的bin文件夹所在目录配置到环境变...

    2017-10-09 23:24
    66
  • windows下使用maven编译spark源码

    1.环境 jdk1.8 scala2.11.8 spark2.11 maven4.0 2.github客户端 官方给出的命令是在Linux上的 ./build/mvn -DskipTes...

    2017-10-09 23:26
    84
  • maven构建Scala程序,实现spark的wordcount

    环境 jdk1.8 scala2.11.8 spark2.11 maven4.0 新建工程 ide:idea 新建一个maven工程,添加jdk和...

    2017-10-09 23:27
    70
  • linux上运行spark程序

    参考官网 spark-submit 在spark安装目录的bin目录下有一个spark-submit脚本,可以用来提交运行spark程序 如果配置了spark的path可以直接使用spark-s...

    2017-10-10 00:01
    111
  • spark程序提交集群和监控

    运行模式 Spark 应用在集群上作为独立的进程组来运行,在 main 程序中通过 SparkContext 来协调(称之为 driver 程序) 1.每个应用获取到它自己的 Ex...

    2017-10-16 20:45
    107
  • Scala关键字class和object

    面向对象 和Java一样Scala面向对象 类是对象的模板、抽象。定义一个类后,可以使用关键字new来创建一个类的对象。 通过对象可以使用定义的类的所有功能。 class...

    2017-10-23 20:50
    2030
  • 8.scala方法定义

    形式: def functionName ([list of parameters]) : [return type] 例子 object add { def addInt( a:In...

    2017-10-24 21:29
    80
  • 9.JavaScript,Scala,spark中的闭包

    JavaScript的闭包 (function(){ var hello="hello,world"; function welcome(hi){ alert(hi)...

    2017-10-24 21:31
    99
  • 10.RDD基本操作

    package rddbasic import org.apache.spark.storage.StorageLevel import org.apache.spark.{SparkConf, S...

    2017-10-24 21:32
    116
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部