利用sparkcore进行ETL并输出为orc，parquet文件

最新推荐文章于 2022-07-30 11:42:38 发布

5xh

最新推荐文章于 2022-07-30 11:42:38 发布

阅读量1.4k

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/qq_37283909/article/details/90295423

版权

本文介绍了如何使用SparkCore进行数据提取、转换、加载（ETL）操作，并将处理后的数据导出为ORC和Parquet文件格式。首先确保开启Hive Metastore服务，以实现与Hive的交互。

摘要由CSDN通过智能技术生成

前置条件：开启hivemetastore服务。能与hive进行交互


[hadoop@hadoop-01 data]$ spark-shell --driver-class-path /home/hadoop/app/hive-1.1.0-cdh5.7.0/lib/mysql-connector-java.jar
scala>  import org.apache.spark.sql.hive.orc._
import org.apache.spark.sql.hive.orc._

scala>  import org.apache.spark.sql._
import org.apache.spark.sql._

scala> import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.SparkSession

scala> import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}
import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}

scala> val lines=sc.textFile("/data/inputSource.txt")
lines: org.apache.spark.rdd.RDD[String] = /data/inputSource.txt MapPartitionsRDD[1] at textFile at <console>:32

## 进行etl
scala> val data = lines.map(x => {
     |       val str = x.split("\t")
     |       (str(0),str(1),str(3),str(4),str(6),str(10),str(12),str(20))