Spark
坐着吃灬炸鸡
写代码,谁能卷的过我?
展开
-
基于Spark GraphX的图形数据分析(一)
基于Spark GraphX的图形数据分析(一) 为什么需要图计算图(Graph)的基本概念图的术语顶点(Vertex)边(Edge)有向图无向图有环图无环图度图的经典表示法邻接矩阵Spark GraphX 简介GraphX核心抽象GraphX API创建Graph属性图应用示例构建用户合作关系属性图构建用户社交网络关系查看图信息 ) 为什么需要图计算 许多大数据以大规模图或网络的形式呈现 许多非图结构的大数据,常会被转换为图模型进行分析 图数据结构很好地表达了数据之间的关联性 图(Graph)的基本概原创 2020-11-25 08:57:39 · 225 阅读 · 0 评论 -
spark清洗过滤json格式
spark清洗过滤json格式 待处理数据内容如下 将该文件上传至hdfs [root@hadoop30 kb09file]# hdfs dfs -put /opt/kb09file/op.log /kb09file 验证是否上传成功 [root@hadoop30 kb09file]# hdfs dfs -ls /kb09file 启动spark-shell [root@hadoop30 kb09file]# spark-shell 从hdfs查看op.log文件内容 sc.textFile("原创 2020-11-23 00:10:02 · 708 阅读 · 0 评论