【spark】01数据预处理
1 在IDEA运行的环境val conf=new SparkConf()val sc=new SparkContext(conf)val spark=SparkSession.builder().getOrCreate()import spark.implicits._2 读入文件并防止乱码val df1=spark.read.option("header",true).option("encoding","gbk").csv("hdfs://dfspath")3 筛选列、字段selec
原创
2021-03-17 09:44:04 ·
610 阅读 ·
0 评论