大数据
Mr.Ma.01
Java后端开发工程师
展开
-
Spark进阶实践(GraphX、Streaming)
Spark-GraphX,Spark-StreamingSpark GraphX基本操作练习1,导入spark,和GraphX2,创建顶点3,创建边4,建立属性图5,图运算符Spark GraphX算法实例练习PageRank:三角形计数:Spark Streaming初步实践1,套接字流:Spark GraphX基本操作练习Spark Shell上练习Spark GraphX的图信息、结构、属性、邻接聚集、缓存等操作。将以上测试代码组织成scala文件,编译并运行。1,导入spark,和GraphX原创 2020-05-18 16:26:40 · 551 阅读 · 0 评论 -
spark-RDD-练习
spark 练习Spark RDD应用综合练习1Spark RDD应用综合练习2Scala程序编写、打包与提交运行初始化建立目录,编写文件Jar包运行总结参考Spark RDD应用综合练习1(1) 计算并显示每个单词出现的次数(以空格隔开的字符串均被视作“单词”),并查看统计结果中单词“Xiongan”(即中文的“雄安”)出现的次数;(2) 显示该文件中包含单词“Xiongan”的行,且...原创 2020-05-07 20:05:37 · 2064 阅读 · 0 评论 -
Spark
sparkspark大数据处理类型spark生态圈spark 基础概念spark运行流程RDDRDD依赖关系stage划分RDD运行过程spark部署Spark API 实践spark基于内存计算的大数据并行计算框架,可用于构建大型的,低延迟的数据分析应用特点:1,运行速度快2,容易使用:支持Scala,java,Python和R语言,可以使用spark shell 进行交互式编程3,...原创 2020-05-03 18:49:56 · 421 阅读 · 0 评论 -
Scala初体验
ScalaScala的安装(Windows)Scala交互式REPL编程实践val和var变量区别immutable/mutable集合及其操作简单的类与对象函数类型与返回值匿名函数以及高阶函数Scala词频统计程序Scala的安装(Windows)Scala交互式REPL编程实践val和var变量区别val变量声明时必须初始化,初始化后不能再次赋值var变量是可变的,可以被多次赋...原创 2020-04-04 13:56:59 · 195 阅读 · 0 评论