读取parquet_scala读取parquet文件

import org.apache.spark.SparkConf

import org.apache.spark.SparkContext

import org.apache.spark.sql.SQLContext

object startScala {

def main(args: Array[String]): Unit ={

val conf = new SparkConf()

.setAppName("QJZK")

.setMaster("local")

val sc = new SparkContext(conf)

val sQLContext = new SQLContext(sc)

//读取一个Parquet文件

val paquetDF = sQLContext.read.format("parquet").load("D:\\work\\input\\*")

val dd = paquetDF.rdd //转换成RDD格式

//读取Parquet文件Schema结构

val parquetschema = sQLContext.parquetFile("D:\\work\\input\\*.parquet")

println(paquetDF.count())

paquetDF.show()

}

}

Spark Scala 读取GBK文件的方法

1. 在生产环境下,很多文件是GBK编码格式的,而SPARK 常用的textFile方法默认是写死了读UTF-8格式的文件,其他格式文件会显示乱码 用如下代码实现读取GBK文件的方法 import o ...