![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SparkSql
原来你也在这里。
这个作者很懒,什么都没留下…
展开
-
SparkSql行转列,groupBy算子用法
package bigdataimport java.utilimport bean.Row2ColFieldBeanimport com.alibaba.fastjson.JSONimport org.apache.spark.sql.{Column, DataFrame, SparkSession}import utils.SparkUtilsimport scala.collection.JavaConversions._object Row2Column { def ch原创 2021-09-15 17:12:35 · 291 阅读 · 0 评论 -
spark处理脱敏字段相关问题合集
问题描述spark1.5中,使用spark-sql无法使用replace函数问题原因目前版本兼容性问题解决措施spark不支持replace函数。使用regexp_replace替代。 //改*方式脱敏拼接sql spark.sql("SELECT id,name,age, regexp_replace(email,SUBSTR(email,2,3), \"*\") AS pv FROM db").show()...原创 2021-09-14 15:14:46 · 786 阅读 · 0 评论 -
SparkSql拼接SQL优化
减少对象的创建 val dfHive: DataFrame = spark.sql("select "+str+ " from t_emp "+joinName+" t_dept on "+joinCondition)//优化后 val builder = new StringBuilder("select ") val sql = builder.append(str).append(" from t_emp ").append(joinName).append(" t_dept o原创 2021-09-01 10:13:26 · 324 阅读 · 0 评论