![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据统一服务
文章平均质量分 78
麦聪聊数据
全球领先企业级DataOps软件厂商,为企业提供自主研发的企业级数据运营平台软件工具麦聪DaaS平台和SQL Studio。通过麦聪软件数据运营平台,用户可实现全域数据资产的管理,打通数据平台和应用需求的核心基础设施,助力企业构建从开发、管理、服务、市场等整体的数据市场和运营能力。
展开
-
在数据20条中能够发现什么
公共数据由什么组织确权、企业数据由什么组织确权、个人数据由什么组织确权,目前的实践是确权基本基于内部组织,那么广义的社会组织范围内这些数据如何确权、这些权很大可能会交叉,比如相同数据可能会有不同的来源和数据持有者,建立产权分置的机制如何保证数据利益的分配,原始数据可能分属于不同的数据持有者,如何审慎建立原始数据的流转交易制度等。根据数据来源和数据生成特征,分别界定数据生产、流通、使用过程中各参与方享有的合法权利,建立数据资源持有权、数据加工使用权、数据产品经营权等分置的产权运行机制的基础制度。转载 2023-01-11 19:25:33 · 493 阅读 · 0 评论 -
数字化转型,是不是收企业的智商税?
比如,一家日本连锁便利店,采集并分析了来自全球4000万忠实用户的数据,用以优化营销投资方案和改善货架空间分配及利用率,该项目为其带来了125万美元的利润,以及超过1.25亿美元的年收入增长。任何的方法论从提出,到企业进行消化,再到落地,都要经历3到5年,甚至更长的时间。企业数字化转型,志在必行,而且是一项长期持久的战略举措,需要企业具备足够的重视度,配备相应的资源作为支撑,并且要有变革的决心和魄力。总结一下,ERP、中台、低代码的本质是企业治理方法论,其演进的底层逻辑就是,企业治理的主要矛盾发生了变化。转载 2023-01-10 19:15:24 · 101 阅读 · 0 评论 -
公司让我一个人干数据中台,是不是可以准备找下家了
但数据中台也有其弊端,因为数据中台的建设离不开系统支撑,研发系统需要投入大量的人力,而这些系统是否能够匹配中台建设的需求,还需要持续打磨。数据服务平台最主要的功能就是数据服务快速开发,技术人员能几分钟开发一个数据API,即使是业务人员也能根据自己的取数需求采用无代码配置的方法快速生成简单可用的数据API。配合数据市场存放已开发过的数据API以及配套的全局权限管理和数据API使用分析功能,能在保证数据安全的前提下,让整个公司的数据资产流动起来,轻松利用。大量的数据应用场景是引入数据中台的前提。原创 2022-12-30 11:58:32 · 712 阅读 · 0 评论 -
比Hive还快10倍的大数据计算引擎
Presto能够处理PB级别的数据,但Presto并不是把PB级别的数据一次性加载到内存中计算,而是根据处理方式,例如:聚合场景,边读取数据,聚合,再清空内存,再去读取数据加载内存,再聚合计算,再清空内存…因此Presto的主从架构是从集群整体上的内存情况,对进行中的查询进行定时监控,优化调度,将最大将耗内存的查询,调度给work节点配置的最大内存量去使用,大概在堆内存的10%。你可以认为类似 JDBC那样,但却是Presto的SPI的实现,使用标准的API来与不同的数据源交互。原创 2022-12-28 21:25:29 · 1876 阅读 · 2 评论 -
数据中台选型必读(六):说说数据服务的七大核心功能
在前面的文章中,我们介绍了数据中台的元数据中心、指标字典与指标体系、数据模型设计、数据质量评估等内容,这些都是One Data理念下数据中台架构的重要部分。我们今天要讲的One Service——统一数据服务,指的是由数据中台提供统一的数据接入和数据查询服务。数据中台核心架构中的数据服务它提供了三项数据服务:主题式数据服务:基于元数据和规范定义和建模,构建主题逻辑表,屏蔽复杂物理表,提供业务视角下的查询。统一且多样化数据服务:一站式提供一般查询、OLAP分析、在线接口服务等查询和应用服务,便于数据跟踪管理原创 2022-12-21 10:41:32 · 1046 阅读 · 0 评论 -
数字化转型如何认清本质少被忽悠:小步快跑看到项目效果再推下一步
这些年,我们见识了太多新概念:数据智能、Data Fabric、数据虚拟化还有最著名的“数据中台”。然而,跟几年前疯狂追逐这些热词不同,或者说因为已经踩坑踩到晕厥。动辄一个千万的中台项目投入进去,上线后高层看数还是要等、技术门槛高业务人员难以自助用数、数据使用难合规等等问题依旧存在。大数据?我信你个鬼(来自“特大号”)现在很多甲方都表示:不太靠谱,不信忽悠。“立刻看到产品效果,有效果再上线”成了大家选型找产品的苛刻要求。01企业数据资产生产、消费现状现如今,大多数企业数据资产的生产和消费,实际现状大概是下原创 2022-12-21 10:22:30 · 443 阅读 · 0 评论 -
Forrester:2023年中国市场趋势预测
Forrester的预测报告分析了不同领域和行业的动态和趋势。这些洞察展示了Forrester对未来一年的大胆呼吁,帮助企业和技术领导者照亮前路,获得竞争优势,在未来的一年蓬勃发展。转载 2022-12-15 22:07:04 · 190 阅读 · 0 评论 -
企业数字化转型系列(3):企业数字化转型到底要转什么?
麦肯锡发布的一份报告显示,中国企业数字化转型的成功率仅为20%。也就是说,假如你所在的企业要进行数字化转型,那么对不起,你们大概有80%的概率会失败。为什么会有这么高的失败率呢?K哥作为一名IT咨询顾问、前互联网公司技术副总裁、某传统上市公司技术高管,聊一聊我对传统企业数字化转型的观察与思考。第三问题,企业的数字化转型,到底该如何转?企业数字化转型,究竟需要做哪些具体事情,又如何落地呢?下面总结了5个方面:一、引进优秀的数字化领导者一个好的数字化转型战略,必须由一位经验丰富、具有前瞻性视野、善于推动变革的数转载 2022-12-05 14:48:28 · 510 阅读 · 0 评论 -
企业数字化转型系列(2):企业为什么要做数字化转型?
麦肯锡发布的一份报告显示,中国企业数字化转型的成功率仅为20%。也就是说,假如你所在的企业要进行数字化转型,那么对不起,你们大概有80%的概率会失败。为什么会有这么高的失败率呢?K哥作为一名IT咨询顾问、前互联网公司技术副总裁、某传统上市公司技术高管,聊一聊我对传统企业数字化转型的观察与思考。第二个问题回答:企业为什么要做数字化转型?本质上,是为了对抗组织熵增。熵,是热力学里衡量体系中混乱程度的一个单位。熵增,是一种自发的从有序到无序的过程。大到一个组织,小到人体,都遵循熵增定律。与熵增相对的概念就是熵减,转载 2022-12-05 14:44:13 · 207 阅读 · 0 评论 -
企业数字化转型系列(1):企业数字化转型的5大陷阱
麦肯锡发布的一份报告显示,中国企业数字化转型的成功率仅为20%。也就是说,假如你所在的企业要进行数字化转型,那么对不起,你们大概有80%的概率会失败。为什么会有这么高的失败率呢?K哥作为一名IT咨询顾问、前互联网公司技术副总裁、某传统上市公司技术高管,聊一聊我对传统企业数字化转型的观察与思考。首先,传统企业数字化转型非常容易掉进5大陷阱。企业数字化转型的5大陷阱一、把数字化转型当成项目,而非战略什么是战略?战略要解决的是,企业做什么和不做什么的问题。什么是项目?项目是在一定的时间内,投入一定的资源,并且达转载 2022-12-05 14:27:26 · 289 阅读 · 0 评论 -
Flink被阿里收购4年,最开心的却是Spark背后的Databricks
阿里巴巴如果要说服其他云厂商,比如腾讯云、华为云,或者AWS、 Azure等都上一个好用的Flink服务,其他人就会在想,你阿里巴巴掌握了开源,还能够在自己的云上做一个更好的闭源系统,我们怎么和你做竞争。它既存在于AWS,也上了Azure,也登入了GCP甚至阿里巴巴的云端。综上,Flink的技术是牛的,未来能发展的更好,但如果一个很好的计算引擎,没办法做到公有云厂商中立,那么在云计算市场的商业化就会难一点。客户觉得,我一方面用了你的商业版本,一方面又必须/不得不上你的公有云,被你绑得死死的,那我怎么办?原创 2022-12-01 18:42:13 · 909 阅读 · 0 评论 -
全球6位IT负责人:企业数字化转型不断失败的原因
IDC 将数字业务定义为一种动态型企业,应该不断地改进运营模式和支撑运营的数字平台。IDC 在报告中指出:“在这个新世界里,IT 不是一个组织,而是企业的结构。随着数字技术的触角越来越深入到企业及其生态系统中,CIO 们必须寻找新的 IT 管理方式。”下面就让我们来分析一下数字化转型不断失败的八个原因转载 2022-11-24 15:13:43 · 166 阅读 · 0 评论 -
不懂“数据服务”,聊什么“数据中台”
很多人都只注意到了One Data,元数据中心、指标字典、数据模型设计等等都属于One Data理念下数据中台架构的重要部分。但其实One Service——数据服务也是数据中台的核心,目前市面上的数据中台没有好用的产品很大的原因就是数据服务没做好。原创 2022-11-24 14:52:01 · 879 阅读 · 0 评论 -
国企数字化转型全是坑?看这几个成功案例,减少90%损失
全局的数据权限管理下,借助数据API开发工具,技术人员能够几分钟开发一个数据API,数据能够直接传输到车联网平台,需要使用数据的业务人员也能直接在数据超市申请权限,将原来以天为单位的工作量变成小时级,大大提高公司科研效率。随着研发的投入,解放也遇到一些问题。比如:自动驾驶部门需要下载海量的车联网数据,一辆车每天的数据量就达到几千万行,靠数据工程师人工开发数据API,导出、校验、审核数据再传输到车联网业务线AI平台上,繁琐复杂,成本太高。数字经济时代,数字化转型是大势所趋,也是难得机遇,更是危机重重。转载 2022-11-14 08:43:20 · 242 阅读 · 0 评论 -
数据中台选型必读(三):什么企业适合上数据中台?
很多大型集团都存在这样的问题,IT建设一直在持续,经历了信息技术时代,互联网时代、大数据时代直到AI时代,通过几代IT人员的迭代,积累了大量的企业IT资产但有些已经阻碍企业发展,引入中台架构或许可以迎来新的变革时代。最基本的,企业是否实现了业务的数据化,有一定的数据沉淀下来作为复用的基础。一方面企业需要花费千万级费用投入到系统建设中,另外数据中台的建设离不开系统支撑,研发系统需要投入大量的人力,数据中台建成之后面对大量的数据需求,仍需要花费额外的人力去做数据模型的重构。简单来说,就是把数据复用起来原创 2022-11-04 10:34:38 · 1289 阅读 · 0 评论 -
数仓、湖仓、数据中台都没解决的企业数字化难题,却被它解决了
数仓/湖仓/中台方案,一般都是采用“中央存储库”模式,空间成本、人效、时效,在面对小快灵的敏捷用数需求时,都略显笨重和昂贵。当下企业对于数据的各种业务需求越来越多,且变化快速;但是湖仓台,比较依赖于ETL/ELT手段,进行数据的抽取、转换和加载,然后才能用于分析和挖掘,需要较长的周期。数据分析师和数据开发师也不想被取数任务占据主要精力,所以需要一些工具来帮助实现简单自助的数据消费,帮助企业降本增效。企业内部也要防止数据泄露带来的不利影响,全局的数据安全合规以及权限管理都势在必行,而现在的湖仓台难以满足。转载 2022-11-03 18:51:53 · 165 阅读 · 0 评论 -
数据中台的终点是DataOps还是DaaS?
如前文所说:数据中台和Data Ops最主要的目标就是高效实现数据价值,DataOps可以作为数据中台的核心能力补充,实现快速、稳定和自助式数据准备和数据服务。通过一个统一的、智能的数据平台将数据治理、数据编目、数据质量及数据保密工作整合在一起,只有这样才能确保所有数据都是可信的和受保护的。在整个数据管道过程中实施数据治理,从而确保了交付的数据都是可信、安全和受保护的,并满足合规性要求。欢迎在评论区留言讨论。业务人员使用数据目录和数据准备工具,进行数据的自动发现和自动编排,提高数据利用的便捷性。转载 2022-11-02 09:22:56 · 230 阅读 · 0 评论 -
企业选型必读:选择数据湖 or 数据仓库?
今天,每秒都在生成 TB 和 PB 的数据,为这些海量数据集寻找存储解决方案至关重要。复杂的机器和技术现在收集了令人难以置信的广泛数据——每天超过 2.5 万亿字节!— 来自设备传感器、日志、用户、消费者和其他地方。数据存储并不像以前看起来那么简单。在管理和存储数据时,数据管理者需要考虑使用数据湖或数据仓库作为存储库。随着数据量、速度和种类的增加,选择合适的数据平台来管理数据从未像现在这样重要。它应该是迄今为止满足我们需求的古老数据仓库,还是应该是承诺支持任何类型工作负载的任何类型数据的数据湖?转载 2022-10-31 20:54:59 · 231 阅读 · 0 评论 -
智慧城市、数字政府、城市大脑、一网统管之间有什么关系
总之,智慧不仅仅是智能。杭州建设城市大脑,就是要为城市生活打造一个数字化的界面,让人们通过这种界面去触摸城市的脉搏,去感受城市的温度,去享受城市的服务。2018年12月,杭州市地方标准《DB3301/T 0273-2018 城市数据大脑建设管理规范》给出的城市大脑定义:运用大数据、云计算、人工智能等技术构建的城市数字化运行的基础设施,是数字政府、数字社会和数字经济的载体,汇集政府、企业和社会等数据,进行融合计算,感知城市生命体征,实现对城市全域的精准分析、整体研判、协同指挥、科学治理。我们来简单了解一下。转载 2022-10-26 21:19:03 · 621 阅读 · 0 评论 -
Gartner:被CIO们忽略的7个颠覆性趋势
颠覆就是会产生持久变化的根本性转变,成功的企业组织都会针对这些颠覆性趋势做好准备。我们需要不断地去问自己‘如果发生会怎样’,以便对颠覆性趋势带来的机遇保持开放的态度。很多看似未来才会发生的颠覆性趋势可能要比我们想象地要近得多。转载 2022-10-11 07:46:15 · 133 阅读 · 0 评论 -
数字化转型最核心的是数据吗?不,而是数据思维
数据获取只是第一步,很多人不懂的是分析和数据背后的思维。数字化转型,你最缺的不是数据,而是数据思维。拥有数据思维的人,看到数据能够找出问题,找到规律,发现机会或做出决断!转载 2022-10-10 20:11:53 · 268 阅读 · 0 评论