![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
大卜萝
这个作者很懒,什么都没留下…
展开
-
spark sql任务提交参数相关
–conf spark.sql.adaptive.enabled=true\ 开启shfffer解决小文件问题 –conf spark.sql.adaptive.minNumPostShufflePartitions=10 –conf spark.sql.adaptive.maxNumPostShufflePartitions=2000 –conf spark.sql.adaptive.shuffle.targetPostShuffleInputSize 134217728 –conf spark.sql.原创 2023-10-19 15:19:04 · 73 阅读 · 0 评论 -
spark sql 和 spark streaming 结合使用
需要一个构建session单例的类(由于session 存在driver 为一个单例所以需要此类): object SparkSessionSingleton { @transient private var instance: SparkSession = _ def getInstance(sparkConf: SparkConf): SparkSession = { if (instance == null) { instance = SparkSession原创 2021-06-24 09:49:52 · 246 阅读 · 0 评论 -
spark -sql 相关
spark sql 的 df 的行转列的api: 输入数据:例如 note id n1 2,3,4 n2 3,4,5,6 输出数据: note id n1 2 n1 3 … 操作: sql 操作 -》 使用split进行切割; val sql = ” select split(id ,',')paersonId from table1 “ val split = session.sqlContext.sql(sql)原创 2021-06-08 14:52:31 · 405 阅读 · 0 评论