Scala
palace_wy
一起学习,一起创新!!!
展开
-
Scala编译graphX PageRank算法的简单实例
注意:使用GraphLoader函数时对于Scala、Spark版本有兼容问题。由于之前scalaVersion用的别的版本,所以一直出现版本不兼容的问题,导致代码无法生成jar包Error:scalac: bad symbolic reference to org.apache.spark.Logging encountered in class file’GraphLoader.cla...原创 2019-04-10 18:31:35 · 571 阅读 · 0 评论 -
Spark Master 用Scala实现任务提交
话不多说,上demo~test.txt文件里包含了hello world行,读者可自己修改测试、val inputfile=“file:///home/wangyang/helloSpark.txt” //文件的绝对路径val conf = new SparkConf().setAppName(“HelloWorld”).setMaster(“spark://IP地址:7077”) ...原创 2019-04-07 10:37:11 · 1199 阅读 · 0 评论 -
Spark从hdfs下读取txt文件并保存到hdfs目录下
多说无益,先参考代码:object File {//文件读取def main(args: Array[String]): Unit = {val conf = new SparkConf().setAppName(“File”).setMaster(“spark://IP地址:7077”)val sc = new SparkContext(conf);// 读取hdfs数据val t...原创 2019-04-08 11:25:03 · 3357 阅读 · 0 评论