Spark
强子no2
这个作者很懒,什么都没留下…
展开
-
spark sql自己定义规则
1) github 下载spark 源码(下面的代码都是需要添加的,找到对应的文件进行添加即可)2)找到 SqlBase.g4 文件,以 offset 为例进行说明,下面的 2.1)找到下面的内容queryOrganization : (ORDER BY order+=sortItem (',' order+=sortItem)*)? (CLUSTER BY ...原创 2018-08-17 11:58:16 · 1678 阅读 · 2 评论 -
分布式系统唯一ID生成方案总结
系统的唯一主键是需要系统面临的问题,生成ID的方法有很多,适应不同的场景、需求以及性能要求。下面几种是常见的一些技术方案,包括一些优缺点总结:(参考:https://www.cnblogs.com/haoxinyue/p/5208136.html)1 数据库级别:常见的方法是利用数据库字段的唯一性优点:1)简单,代码方便,性能可以接受。2)数字ID天然排序,对分页或...原创 2018-12-21 14:04:12 · 706 阅读 · 0 评论