scala spark 数据对比_Spark 实践——用 Scala 和 Spark 进行数据分析

1.获取数据集

数据集来自加州大学欧文分校机器学习资料库(UC Irvine Machine Learning Repository)，这个资料库为研究和教学提供了大量非常好的数据源， 这些数据源非常有意义，并且是免费的。 我们要分析的数据集来源于一项记录关联研究，这项研究是德国一家医院在 2010 年完成的。这个数据集包含数百万对病人记录，每对记录都根据不同标准来匹配，比如病人姓名(名字和姓氏)、地址、生日。每个匹配字段都被赋予一个数值评分，范围为 0.0 到 1.0， 分值根据字符串相似度得出。然后这些数据交由人工处理，标记出哪些代表同一个人哪些代表不同的人。 为了保护病人隐私，创建数据集的每个字段原始值被删除了。病人的 ID、 字段匹配分数、匹配对标示(包括匹配的和不匹配的)等信息是公开的，可用于记录关联研究

下载地址：

2.设置Spark运行环境，读取数据

val sc = SparkSession.builder().appName("Into").master("local").getOrCreate()

import sc.implicits._

读取数据集

// 数据地址

val dataDir = "inkage/block_*.csv"

// 读取有头部标题的CSV文件，并设置空值

val parsed = sc.read .option("header", "true") .option("nullValue", "?") .option("inferSchema", "true") .csv(dataDir)

// 查看表