sql根据字段生成主键

select s.pre::numeric+s.row,test.*
from test left join 
(
select to_char(now(),'yyyyMMddmmss000') pre,row_number() over(order by c1,c2,c3,c4,c5) row,c1||c2||c3||c4||c5 as t1 from test
group by c1,c2,c3,c4,c5

) s on
c1||c2||c3||c4||c5=s.t1
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
如果你的需求是根据一个字段生成 ID,并且每个固定的值都对应一个固定的 ID,可以使用 SparkSQL 中的 CASE WHEN 语句来实现。同时,如果你需要将生成的 ID 作为主键,可以使用 SparkSQL 中的 `PRIMARY KEY` 约束来实现。以下是示例代码: ```scala import org.apache.spark.sql.functions.{row_number, when} import org.apache.spark.sql.expressions.Window val df = Seq(("Alice", "female"), ("Bob", "male"), ("Charlie", "male"), ("Eve", "female")).toDF("name", "gender") val window = Window.partitionBy("gender").orderBy("name") val result = df.withColumn("id", when($"gender" === "female", row_number().over(window) + 1000) .otherwise(row_number().over(window))) .withColumn("id", $"id".cast("String")) // 将 ID 转换为字符串类型 .withColumn("id", concat($"gender", $"id")) // 使用 gender 字段作为前缀 .drop("gender") .withColumnRenamed("id", "pk") // 将 id 字段重命名为 pk .withColumn("name", $"name".cast("String")) // 将 name 字段转换为字符串类型 .select("pk", "name") .distinct() .orderBy("pk") .createOrReplaceTempView("temp_table") spark.sql("CREATE TABLE my_table (pk STRING PRIMARY KEY, name STRING) USING PARQUET") spark.sql("INSERT INTO my_table SELECT * FROM temp_table") ``` 这个示例代码的含义是:首先根据 gender 字段生成 ID,以 gender 字段加上 ID 作为主键,并将 ID 作为字符串类型。然后将 gender 字段删除,将 ID 字段重命名为 pk,并保存到一个临时表中。最后使用 CREATE TABLE 语句创建一张表,并将临时表中的数据插入到该表中。注意,这里使用了 `USING PARQUET` 选项来指定表的数据格式,你也可以根据实际情况来选择其他数据格式。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值