Spark 修改dataset整列数据类型
import org.apache.spark.sql.types.IntegerType
geoans.select(geoans.col("pointNum").cast(IntegerType).as("lat"))
写入数据到HDFS
a.repartition(3).write.parquet("hdfs://master:9000"+"/data/30sa0")
Spark 修改dataset整列数据类型
import org.apache.spark.sql.types.IntegerType
geoans.select(geoans.col("pointNum").cast(IntegerType).as("lat"))
写入数据到HDFS
a.repartition(3).write.parquet("hdfs://master:9000"+"/data/30sa0")