spark
大卜萝
这个作者很懒,什么都没留下…
展开
-
spark sql任务提交参数相关
–conf spark.sql.adaptive.enabled=true\ 开启shfffer解决小文件问题–conf spark.sql.adaptive.minNumPostShufflePartitions=10–conf spark.sql.adaptive.maxNumPostShufflePartitions=2000–conf spark.sql.adaptive.shuffle.targetPostShuffleInputSize 134217728–conf spark.sql.原创 2023-10-19 15:19:04 · 64 阅读 · 0 评论 -
spark sql 和 spark streaming 结合使用
需要一个构建session单例的类(由于session 存在driver 为一个单例所以需要此类):object SparkSessionSingleton { @transient private var instance: SparkSession = _ def getInstance(sparkConf: SparkConf): SparkSession = { if (instance == null) { instance = SparkSession原创 2021-06-24 09:49:52 · 238 阅读 · 0 评论 -
spark -sql 相关
spark sql 的 df 的行转列的api:输入数据:例如note idn1 2,3,4n2 3,4,5,6输出数据:note idn1 2n1 3…操作:sql 操作 -》 使用split进行切割;val sql = ” select split(id ,',')paersonId from table1 “val split = session.sqlContext.sql(sql)原创 2021-06-08 14:52:31 · 392 阅读 · 0 评论