LKIDTI数据的博客

企业spark案例 —— 出租车轨迹分析文章目录企业spark案例 —— 出租车轨迹分析一、数据清洗二、数据分析三、出租车轨迹图表展示一、数据清洗学习目标1.如何使用 SparkSQL 读取 CSV 文件2.如何使用正则表达式清洗掉多余字符串。将出租车轨迹数据规整化,清洗掉多余的字符串，并使用 DataFrame.show() 打印输出。清洗掉红框里面的 $ 、@ 字符，由于这两字符出现的次数没有规律，所以需要使用正则匹配。清洗后内容如下：import org.apache.spa

spark学习之 GraphX—预测社交圈子文章目录spark学习之 GraphX—预测社交圈子一、计算连通分量二、社交圈子预测1三、社交圈子预测2一、计算连通分量任务描述连通分量是预测社交圈子的基础，使用连通分量算法能够快速找到一个图中的小圈子。利用GraphX对图1进行创建并运用连通分量算法找出图中的连通分量：import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkConf, SparkContext}i