![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据内容
文章平均质量分 93
企业spark案例学习
LKIDTI数据
欢迎交流学习,wx号:lkidti。或关注微信公众号LKIDTI数据
展开
-
企业spark案例 —出租车轨迹分析
企业spark案例 —— 出租车轨迹分析文章目录企业spark案例 —— 出租车轨迹分析一、数据清洗二、数据分析三、出租车轨迹图表展示一、数据清洗学习目标1.如何使用 SparkSQL 读取 CSV 文件2.如何使用正则表达式清洗掉多余字符串。将出租车轨迹数据规整化,清洗掉多余的字符串,并使用 DataFrame.show() 打印输出。清洗掉红框里面的 $ 、@ 字符,由于这两字符出现的次数没有规律,所以需要使用正则匹配。清洗后内容如下:import org.apache.spa原创 2021-10-22 21:58:49 · 5344 阅读 · 1 评论 -
spark学习之 GraphX—预测社交圈子
spark学习之 GraphX—预测社交圈子文章目录spark学习之 GraphX—预测社交圈子一、计算连通分量二、社交圈子预测1三、社交圈子预测2一、计算连通分量任务描述连通分量是预测社交圈子的基础,使用连通分量算法能够快速找到一个图中的小圈子。利用GraphX对图1进行创建并运用连通分量算法找出图中的连通分量:import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkConf, SparkContext}i原创 2021-10-25 10:58:52 · 1276 阅读 · 1 评论