Spark
坐着吃灬炸鸡
写代码,谁能卷的过我?
展开
-
基于Spark GraphX的图形数据分析(一)
基于Spark GraphX的图形数据分析(一)为什么需要图计算图(Graph)的基本概念图的术语顶点(Vertex)边(Edge)有向图无向图有环图无环图度图的经典表示法邻接矩阵Spark GraphX 简介GraphX核心抽象GraphX API创建Graph属性图应用示例构建用户合作关系属性图构建用户社交网络关系查看图信息)为什么需要图计算许多大数据以大规模图或网络的形式呈现许多非图结构的大数据,常会被转换为图模型进行分析图数据结构很好地表达了数据之间的关联性图(Graph)的基本概原创 2020-11-25 08:57:39 · 223 阅读 · 0 评论 -
spark清洗过滤json格式
spark清洗过滤json格式待处理数据内容如下将该文件上传至hdfs[root@hadoop30 kb09file]# hdfs dfs -put /opt/kb09file/op.log /kb09file验证是否上传成功[root@hadoop30 kb09file]# hdfs dfs -ls /kb09file启动spark-shell[root@hadoop30 kb09file]# spark-shell从hdfs查看op.log文件内容sc.textFile("原创 2020-11-23 00:10:02 · 705 阅读 · 0 评论