spark学习
文章平均质量分 54
HanLaotwo
这个作者很懒,什么都没留下…
展开
-
windows配置spark运行环境
1.java配置使用jdk1.8配置略2.下载、配置scala官网下载scala,解压放到自己的目录下。目录不要有空格把Scala的bin文件夹所在目录配置到环境变量的path中(过程和jdk配置一样)测试是有完成win+R cmd:scala出现scala配置就是安装好了3.下载、配置spark官网下载sapark,原创 2017-10-09 23:24:37 · 410 阅读 · 0 评论 -
spark程序提交集群和监控
运行模式Spark 应用在集群上作为独立的进程组来运行,在 main 程序中通过 SparkContext 来协调(称之为 driver 程序)1.每个应用获取到它自己的 Executor 进程,它们会保持在整个应用的生命周期中并且在多个线程中运行 Task(任务)。这样做的优点是把应用互相隔离,在调度方面(每个 driver 调度它自己的 task)和 Executor原创 2017-10-16 20:45:05 · 1925 阅读 · 0 评论 -
10.RDD基本操作
package rddbasicimport org.apache.spark.storage.StorageLevelimport org.apache.spark.{SparkConf, SparkContext}/** * Created by hanq0 on 2017/10/23. */object stuRdds { val conf = new SparkCo原创 2017-10-24 21:32:40 · 552 阅读 · 0 评论 -
9.JavaScript,Scala,spark中的闭包
JavaScript的闭包(function(){ var hello="hello,world"; function welcome(hi){ alert(hi); //解析到作用域链的第一个对象的属性 alert(hello); //解析到作用域链的第二个对象的属性 } welcome("It's easy原创 2017-10-24 21:31:38 · 696 阅读 · 0 评论 -
8.scala方法定义
形式:def functionName ([list of parameters]) : [return type]例子object add { def addInt( a:Int, b:Int ) : Int = { var sum:Int = 0 sum = a + b return sum }}数据类型原创 2017-10-24 21:29:13 · 403 阅读 · 0 评论 -
Scala关键字class和object
面向对象和Java一样Scala面向对象类是对象的模板、抽象。定义一个类后,可以使用关键字new来创建一个类的对象。 通过对象可以使用定义的类的所有功能。classclass表示类 和Java不同,class不能运行。虽然可以定义main方法,但是不能运行class Point(xc: Int, yc: Int) { var x: Int原创 2017-10-23 20:50:16 · 4691 阅读 · 0 评论 -
linux上运行spark程序
参考官网spark-submit在spark安装目录的bin目录下有一个spark-submit脚本,可以用来提交运行spark程序如果配置了spark的path可以直接使用spark-submit命令编译构建spark程序使用sbt 或者maven构建程序生成jar包spark-submit的使用spark-submit \ --class原创 2017-10-10 00:01:56 · 4867 阅读 · 0 评论 -
windows下使用maven编译spark源码
1.环境jdk1.8scala2.11.8spark2.11maven4.02.github客户端官方给出的命令是在Linux上的./build/mvn -DskipTests clean package调用shell脚本取只想一些命令然后在用maven编译,一些过程如下install_app() { local remo原创 2017-10-09 23:26:20 · 956 阅读 · 0 评论 -
maven构建Scala程序,实现spark的wordcount
环境jdk1.8scala2.11.8spark2.11maven4.0新建工程ide:idea新建一个maven工程,添加jdk和scala支持然后添加maven依赖编写wordcount代码右键运行scala类maven依赖:project xmlns="http://maven.ap原创 2017-10-09 23:27:21 · 1309 阅读 · 0 评论 -
10.SparkStream例子HdfsWordCount
spark github上的例子程序描述计算给定目录下的新文件的单词个数运行的时候在hdfs上设置一个目录然后实时的往目录里放文件程序可以文件中单词的个数代码package streamimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, S原创 2017-12-15 19:43:07 · 843 阅读 · 0 评论