- 博客(1)
- 问答 (1)
- 收藏
- 关注
原创 【spark】01数据预处理
1 在IDEA运行的环境 val conf=new SparkConf() val sc=new SparkContext(conf) val spark=SparkSession.builder().getOrCreate() import spark.implicits._ 2 读入文件并防止乱码 val df1=spark.read.option("header",true).option("encoding","gbk").csv("hdfs://dfspath") 3 筛选列、字段 selec
2021-03-17 09:44:04 600
空空如也
spark程序整个打包后在其他集群运行
2022-07-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人