先说说什么是主数据和参考数据？ 主数据是有关(雇员，客户，产品等)的数据，这些实体为业务交易和分析提供了语境信息。需要对主数据的值和标识符进行控制参考数据用于其他数据，或者将数据与组织外部的信息联系起来的任何数据。是因为什么业务驱使我们关注参考数据和主数据的管理？比如代码表、分类表、描述表等。需要对定义的值域以及其定义进行控制。...
PDManer区分索引类型 背景PDmaner是一个非常强大的数据库建模工具，但是还有一些细节功能还是做的不到位，比如对索引类型的不区分。比如我需要建立全文索引，工具中没地方选择，导出来的ddl语句全部是普通索引。解决有改源码能力的，应该加一个类型区分应该也很方便，但是对于没有修改源码能力的人来说也是有比较方便的解决方案的。发现是通过脚本模板的方式来生成DDL语句，所以就考虑通过修改脚本模板来解决。步骤如下:1.规范：比如全文索引的命名规范idx_search开头2.修改模板脚本{{~ it.enti
数据服务开发工具（Magic-API） 前言对于数据开发人员来说，把数据通过api的方式提供出去，往往是数据开发的最后一公里。对于一个数据开发人员来说，通过自己写java或者其他代码提供数据服务往往比较困难，但是写SQL对他们来说是so easy，所以需要有一个工具通过SQL的方式快速提供API。搜索几方，发现已经有比较成熟的开源方案。一、相关开源产品Datawayhttps://www.hasor.net/doc/display/datawayMagic-APIssssssss-teamRocket-API-Platfo..
Flink 和 Pulsar 的批流融合 作者：Sijie Guo编辑：IreneApache Flink和 Apache Pulsar的开源数据技术框架可以以不同的方式融合，来提供大规模弹性数据处理。4 月 2 日，我司 CEO 郭斯杰受邀在 Flink ForwardSan Francisco 2019 大会上发表演讲，介绍了 Flink 和 Pulsar 在批流应用程序的融合情况。这篇文章会简要介绍 Apache Pulsar 及其与其他消息系统的不同之处，并讲解如何融合 Pulsar 和 Flink 协同工作，为大规模弹性...
HBase RowKey与索引设计 1.HBase的存储形式hbase的内部使用KeyValue的形式存储，其key时rowKey：family：column：logTime，value是其存储的内容。其在region内大多以升序的形式排列，唯一的时logTime是以降序的形式进行排列。所以，rowKey里越靠近左边的信息越容易被检索到。其设计时，要考虑把重要的信息放左边，不重要的信息放到右边。这样可以提高查询数据的速度。最重要的提高索引速度的就是设计合适的rowKey。在做RowKey设计时，请先考虑业务是读比写多，还是读.
Hbase 基础命令 hbase shell命令 例子 描述 alter alter "table_a",NAME=>'info',TTL=>'86400' 修改列族（column family）模式 count count 'table_a', {INTERVAL => 100, CACHE => 500} 统计表中行的数量...
Elasticsearch5.X权限管理 ES6以前的开源版本，默认情况下是没有账户体系，但是可以通过以下开源的插件进行用户权限管理。下面就以search-guard插件来实践下1、安装search-guard 插件，对应我们的es版本cd $ES_HOMEbin/elasticsearch-plugin install -b com.floragunn:search-guard-5:5.4.0-152、生成证书访问:https://search-guard.com/tls-certificate-generator/
关注
