博客专栏  >  云计算/大数据   >  spark学习

spark学习

spark学习,包括Scala,spark

关注
1 已关注
10篇博文
  • 10.SparkStream例子HdfsWordCount

    spark github上的例子 程序描述 计算给定目录下的新文件的单词个数 运行的时候在hdfs上设置一个目录 然后实时的往目录里放文件 程序可以文件中单词的个数 代码 package ...

    2017-12-15 19:43
    334
  • windows配置spark运行环境

    1.java配置 使用jdk1.8 配置略 2.下载、配置scala 官网下载scala,解压放到自己的目录下。目录不要有空格 把Scala的bin文件夹所在目录配置到环境变...

    2017-10-09 23:24
    150
  • windows下使用maven编译spark源码

    1.环境 jdk1.8 scala2.11.8 spark2.11 maven4.0 2.github客户端 官方给出的命令是在Linux上的 ./build/mvn -DskipTes...

    2017-10-09 23:26
    360
  • maven构建Scala程序,实现spark的wordcount

    环境 jdk1.8 scala2.11.8 spark2.11 maven4.0 新建工程 ide:idea 新建一个maven工程,添加jdk和...

    2017-10-09 23:27
    203
  • linux上运行spark程序

    参考官网 spark-submit 在spark安装目录的bin目录下有一个spark-submit脚本,可以用来提交运行spark程序 如果配置了spark的path可以直接使用spark-s...

    2017-10-10 00:01
    444
  • spark程序提交集群和监控

    运行模式 Spark 应用在集群上作为独立的进程组来运行,在 main 程序中通过 SparkContext 来协调(称之为 driver 程序) 1.每个应用获取到它自己的 Ex...

    2017-10-16 20:45
    496
  • Scala关键字class和object

    面向对象 和Java一样Scala面向对象 类是对象的模板、抽象。定义一个类后,可以使用关键字new来创建一个类的对象。 通过对象可以使用定义的类的所有功能。 class...

    2017-10-23 20:50
    2463
  • 8.scala方法定义

    形式: def functionName ([list of parameters]) : [return type] 例子 object add { def addInt( a:In...

    2017-10-24 21:29
    171
  • 9.JavaScript,Scala,spark中的闭包

    JavaScript的闭包 (function(){ var hello="hello,world"; function welcome(hi){ alert(hi)...

    2017-10-24 21:31
    287
  • 10.RDD基本操作

    package rddbasic import org.apache.spark.storage.StorageLevel import org.apache.spark.{SparkConf, S...

    2017-10-24 21:32
    255

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部