spark
BigEpicure
这个作者很懒,什么都没留下…
展开
-
Spark GraphX图形数据分析
为什么需要图计算许多大数据以大规模图或网络的形式呈现许多非图结构的大数据,常会被转换为图模型进行分析图数据结构很好地表达了数据之间的关联性图(Graph)的基本概念图是由顶点集合(vertex)及顶点间的关系集合(边edge)组成的一种网状数据结构。通常表示为二元组:Gragh=(V,E),可以对事物之间的关系建模。一般应用于在地图应用中寻找最短路径、社交网络关系、网页间超链接关系。图的术语顶点和边Graph=(V,E)集合V={v1,v2,v3}集合E={(v1,v2),(v1原创 2020-10-14 09:29:14 · 272 阅读 · 0 评论 -
Spark练习
数据:班级ID 姓名 年龄 性别 科目 成绩12 张三 25 男 chinese 5012 张三 25 男 math 6012 张三 25 男 english 7012 李四 20 男 chinese 5012 李四 20 男 math 5012 李四 20 男 english 5012 王芳 19 女 chinese 7012 王芳 19 女 math 7012 王芳 19 女 english 7012 赵敏 19 女 chinese 7012 赵敏 19 女 math 9012原创 2020-09-26 14:23:24 · 316 阅读 · 0 评论 -
Spark入门基础
Spark CoreSpark SQLMLlibGraphxspark和mapreduce的区别、spark运行框架Application:用户编写的Spark应用程序。Driver:Spark中的Driver即运行上述Application的main函数并创建SparkContext,创建SparkContext的目的是为了准备Spark应用程序的运行环境,在Spark中有SparkContext负责与ClusterManager通信,进行资源申请、任务的分配和监控等,当Executor部分原创 2020-09-22 19:18:21 · 415 阅读 · 0 评论