读取结构化数据
Spark可以从本地CSV,HDFS以及Hive读取结构化数据,直接解析为DataFrame,进行后续分析。
读取本地CSV
需要指定一些选项,比如留header,比如指定delimiter值,用,
或者\t
或者其他。
import org.apache.spark.sql.{DataFrame, SparkSession}
object ReadCSV {
val spark: SparkSession = SparkSession
.builder()
.appName("Spark Rocks")
.master("local[*]")
.getOrCreate()
val path: String = "/path/to/file/data.csv"
val df: DataFrame = spark.read
.option("header","true")
.option("inferSchema","true")
.option("delimiter",",")
.csv(path)
.toDF()
def main(args: Array[String]): Unit = {
df.show()
df.printSchema()
}
}
读取Hive数据
SparkSession可以直接调用sql
方法,传入sql查询语句即可。返回的DataFrame可以做简单的变化,比如转换
数据类型,对重命名之类。
imp