工作
文章平均质量分 80
XavierLe
这个作者很懒,什么都没留下…
展开
-
分布式系统生成全剧唯一ID
公司业务需要,将mpp数据库迁移到kudu中去,而kudu不支持自增序列,所以准备自己实现一下。一般情况,实现全局唯一ID,有三种方案,分别是通过中间件方式、UUID、雪花算法。方案一,通过中间件方式,可以是把数据库或者redis缓存作为媒介,从中间件获取ID。这种呢,优点是可以体现全局的递增趋势(优点只能想到这个),缺点呢,倒是一大堆,比如,依赖中间件,假如中间件挂了,就不能提供服务了;依赖...转载 2018-12-02 20:59:44 · 698 阅读 · 0 评论 -
impala实现自增序列udf
impala本身不支持关系型数据库的自增序列,业务需要我们添加一列为自增序列并作为主键,考虑到impala支持udf(用户自定义函数),于是用udf实现了,下面说说我的实现思路。构建udf环境pom引入依赖包继承org.apache.hadoop.hive.ql.exec.UDF类,并重写evaluate方法,一定要重写该方法,impala读取的就是该方法。参数可根据自己需要自定义。...原创 2018-12-24 18:49:02 · 5625 阅读 · 0 评论