![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
lin·show
To be you are
展开
-
Spark、Flink读取HDFS文件
要读取文件的HDFS路径信息如下图Spark读取HDFS文件代码示例如下package demoimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object _00wcHDFS { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf conf.setMaster("原创 2021-02-03 10:22:37 · 2007 阅读 · 0 评论 -
Spark sql自定义函数UDF,处理column值
spark自定义函数UDF,处理DataFrame中列值,并返回新列。如果只是修改列值,在withColumn(“newName”,f=>col),将将列newName替换为原始名称即可。import org.apache.spark.sql.{DataFrame, SparkSession}import org.apache.spark.sql.functions._object TestSql { def main(args: Array[String]): Unit = {原创 2021-01-27 11:35:27 · 1219 阅读 · 0 评论 -
Spark Sql DataFrame修改查询结果列值column value
Scala中更改Spark Sql DataFrame中列值,使用.withColumn()函数。withColumn()也可以对列进行重命名,类似函数有withColumns()。示例如下import org.apache.spark.sql.{DataFrame, SparkSession}import org.apache.spark.sql.functions._object TestSql { def main(args: Array[String]): Unit = { v原创 2021-01-27 11:13:03 · 2061 阅读 · 0 评论 -
Spark与Scala版本对应关系
Spark与Scala版本对应关系,最新版情况参考Maven中央库原创 2021-01-19 11:14:39 · 3715 阅读 · 0 评论