网易数帆社区博客

原创 快手打新挤爆券商系统，网易数帆稳定性保障方案助力升级/快手打新挤爆系统，券商分布式技术底座如何升级

相信大家都还记得快手“老铁”挤爆券商系统的“大动作”，足够666。2021年刚开年，快手正式启动招股，申购情况比预测得还要火爆。认购开启仅2分钟，券商的融资额度便几乎被一抢而空，而认购页面的排队人数则还有数万人……“手快”也抢不到的快手让我们先来回顾下故事发生的整个过程。虎嗅网报道，当天10点30分认购开始，富途率先释放80亿港元的融资额度。短短4分钟，剩余银行融资额度就仅剩1.34万港元，而排队人数却还有4万多人。13分钟后，富途证券首日的80亿融资额度就被一抢而空。还有投资者反...

原创 互联网公司的中台实践：网易杭研的中台往事

编者按：本文转载自网易副总裁、网易杭州研究院执行院长汪源的个人公众号“冷技术热思考”（欢迎搜索关注）。本文是中台系列的第三篇，《什么是中台？所有的中台都是业务中台》厘清中台概念，第二篇《如何建设中台？中台建设的组织、支撑技术和方法论》介绍了建设中台的方法，这篇将介绍网易杭研在中台道路上十多年的探索和经验教训，并补充在中台组织管理方面的方法。以下为原文（有少量改动）：我们面临的是一个VUCA（Vo...

原创 赞评论收藏分享数智聚力 共赴新程 | 一图回顾2023网易数字＋大会满满干货！

原创 精耕数智，为创新加速——2023网易数帆城市行（北京）

#2023网易数帆城市行（北京）#‼超强阵容20位+嘉宾重磅出席‼超多干货涵盖数智产品发布、解决方案共创、生态体系共建、高层客户交流等议程‼不可错过的“饕餮盛宴”

原创 云原生技术交流会|走进网易 云启未来

原创 数据治理实践 | 数据表合规治理

这也极大的解决了数据复杂性的问题，地址：datahubproject.io。

原创 任务全链路诊断，助力云音乐大规模计算资源优化

造成这个现象的原因，主要是Spark任务在运行过程中每个Stage的task数量均会变化，若某个Stage的task数量骤减，且该数量小于当前可用的core数量，在认为每个task占用一个core的情况下，会存在大量Exeucotors的core出现空跑。总结起来就是：将任务从提交到产出结束（包括各个流转节点以及流转服务），抽象并划分成不同阶段，并对上述各个阶段细分不同的检查项进行诊断定位，提供相关专业化的优化以及解决建议，提高业务方对任务运行过程的掌控，包括任务运行效率的提升以及资源利用率的提升。

原创 大数据技术沙龙来袭！2023走进网易：创新重塑数据生产力

随着大数据平台和技术在企业内部的推进与落地，长效价值逐渐成为关注点。❓AIGC和ChatGPT热点是否能高效结合企业数据需求？扫描二维码也可报名活动，5月26日我们不见不散！❓企业IT部门又该如何更好地发挥其能力?❓如何更好地管理数据资产？❓是否有可参考的建设方法。

原创 数据治理实践 | 网易某业务线的计算资源治理

从计算资源治理实践出发，带大家清楚认识计算资源治理到底该如何进行，并如何运用到其他项目中

原创 如何做好一场NPS调研？

NPS调研该怎么做？下面将根据笔者的个人经历复盘，带领大家重温NPS的调研方法。

原创 极速开发，无限可能，2023网易低代码大赛全新赛季启动

2023网易低代码大赛重磅来袭！平台以自研的NASL语言为特色，提供实用丰富的组件库，快速开发复杂的企业级应用软件！免费报名活动，试试自己能做出什么有意思的作品呢~

原创 网易数帆数据治理体系、工具、流程、制度与管理概述

在许多企业中存在这样一个现象，就是对于数据的整个开发和治理往往是一个先污染后治理的过程，数据治理往往不会融入到数据生产的过程当中，与数据开发、建模、运维安全这些环节都会存在脱节的现象。

原创 技术专家说 | 金融分布式多活架构在落地之时，都有哪些值得关注的点？

市场的变幻，政策的完善，技术的革新……种种因素让我们面对太多的挑战，这仍需我们不断探索、克服。由网易数帆云原生技术专家翁扬慧对话InfoQ编辑，为大家分享了金融分布式多活架构在落地时，都有哪些值得关注的点，为行业数字化转型下的金融技术架构演进提供参考。

原创 Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践

在生产环境有大量的场景会用到ES做文档、日志存储后端，因为ES优秀的全文检索能力在很多时候可以大大的简化相关系统设计的复杂度。比较常见的为日志存储，链路追踪，甚至是监控指标等场景都可以用ES来做。

原创 拒绝数据系统熵增，未来企业如何开展数据治理

孤立的数据体系也会随着时间的推移而逐步腐坏，指标口径不一致、数据不准确等就是系统熵增架构腐坏的表现，数据治理则是我们人为施加于体系之上用于对抗熵增的“外力”。

原创 新一代云原生日志架构 - Loggie 的设计与实践

严选基于loggie的日志平台化建设，我们一方面在满足基于日志的问题分析诊断这一基础需求之余，进一步了提升日志质量、问题排查效率、全链路可观测可运维能力。另一方面，我们扩展能力与丰富应用场景，只需要简

原创 网易云音乐用户画像资产治理及业务赋能

数量大体现在用户画像涉及上千指标，需要对这些指标做统一的管理，确保指标及其对应表的高内聚底耦合，任务链路存在很多7-8层的任务层级，层级越多，任务的稳定性越差，需要对任务链路进行压缩；用户画像的逻辑层建模就是为了实现整个画像层，可以实现数据的一致性标准，确保数是高内聚低耦合的，同时也确保了整体的可扩展性，比如新增游戏业务的话，那就在行为画像中添加游戏实体，可以实现整个逻辑层的可扩展而不需要重构整个内容。综上，可以概括为云音乐用户画像资产，存在链路强耦合，计存高成本，口径不统一，产品性能又不足的现状问题。

原创 Curve 块存储应用实践 -- iSCSI

Curve 是云原生计算基金会 (CNCF) Sandbox 项目，是网易数帆发起开源的高性能、易运维、云原生的分布式存储系统。为了让大家更容易使用以及了解 Curve，我们期望接下来通过系列应用实践文章，以专题的形式向大家展示 Curve。本篇文章是Curve块存储应用实践的第一篇，该系列文章包括：tgt 是一个开源 iSCSI 服务器，详情请见 tgt githu[1]。

原创 多点DMALL × Apache Kyuubi：构建统一SQL Proxy探索实践

伴随着国家产业升级的推进和云原生技术成熟，多点 DMALL 大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入 Kyuubi 实现统一 SQL Proxy 的角度讲述这一探索实践的历程。

原创 网易传媒基于 Arctic 的低成本准实时计算实践

Hive表里可见的数据是经过 Optimize 过后的数据，Optimize 由 AMS 来调度，Flink 任务异常执行文件的读写合并，并且把 Metric 上报给 AMS， 由 AMS 来把这一次 Optimize 执行的结果 Commit，AMS 天然知道这一次 Optimize 推进到了哪次 Transaction， 并且 AMS 本身也存储了 Transaction 对应的 Watermark，也就知道 Hive 表水位推进到了哪里。但在实时入湖的场景下，下游任务缺乏一个感知数据是否就绪的途径。

原创 Arctic 基于 Hive 的流批一体实践

本文介绍了网易数帆开源的新一代流式湖仓 Arctic 以及其基于 Hive 的流批一体实践。希望读者可以经此文章了解 Arctic 并对业务构建流批一体的数据湖有帮助。

原创 KubeCube 新增版本转换：K8s 尝鲜再也不用担心影响老版本了

当用户需要在控制面纳管多 K8s 集群时，用户暂时不希望升级老的稳定的 K8s 集群，又希望新增的 K8s 集群是比较高的版本，这时，管控面的 KubeCube，就能够提供访问多版本 K8s 的能力，对外暴露统一的 K8s 风格的 RESTfule API，用户既可以使用精确的 GVR 去访问不同版本的 K8s 资源，也可用使用统一版本的 GVR 去访问不同版本的 K8s 资源，KubeCube 会做自适应转化。也欢迎大家参与贡献，提出宝贵的建议。

原创 SparkSQL on K8s 在网易传媒的落地实践

随着云原生技术的发展和成熟，大数据基础设施积极拥抱云原生是业内发展的一大趋势。网易传媒在2021年成功将SparkSQL部署到了K8s集群，并实现与部分在线业务的混合部署，到目前已经稳定运行了一年多。期间传媒联合杭研Spark内核团队和云计算团队对出现的问题进行了持续的改进，本文将对这些落地优化实践进行初步的梳理总结，希望能给大家带来一些有用的参考。

原创 Service Mesh Summit 回顾 | 轻舟服务网格的无侵入增强 Istio 经验

在云原生社区近日主办的 Service Mesh Summit 2022 服务网格峰会上，网易数帆云原生技术专家方志恒分享了轻舟服务网格无侵入增强 Istio 的经验，本文据此次分享整理，介绍了对无侵入和实现的思考，轻舟服务网格演进过程中的扩展增强，以及这些扩展增强和无侵入的关系。这里 “无侵入” 强调的是对服务网格基础设施本身的无侵入，而不是只有对业务的无侵入，后者是服务网格本身的定位所要考虑的内容。

原创 汪源：数据分析热词迭出，“三个统一”值得关注

从流批一体、湖仓一体、NoETL、数据中台到DataOps，现代数据分析领域热词迭出，企业如何抓住本质，经营数据生产力以提质增效？

原创 不到十天，智能答题系统搭建完成…低代码为数字政府按下“加速键”

9月1日-9月15日，由杭州市数据资源管理局（以下简称市数据资源局）主办的《浙江省公共数据条例》有奖知识竞赛活动正式启动。该活动一经发布，便受到广大市民的关注。该线上活动平台正是杭州市数据资源管理局联手网易数帆共同搭建的，通过不到十个工作日的时间，网易数帆基于旗下的轻舟低代码应用开发平台，帮助市数据资源局完成在竞赛答题、后台管理、排名展示等多个板块页面的设计、开发、测试工作，实现快速搭建，从而保障系统顺利上线。

原创 Apache Kyuubi 在小米大数据平台的应用实践

WorkspaceA 下面的用户使用平台发放的 Token，选择各类客户端工具，向引擎提交 SQL 查询，Kyuubi Server 会自动将用户 SQL 提交到该空间所属的计算引擎上去，来保证用户使用资源的隔离性。由于之前已经实现了对 Spark Engine 的管理服务，我们将 Kyuubi Engine 的管理直接从 Kyuubi Server 剥离，形成了单独的 Engine Manager 服务，负责 Engine 的生命周期管理，配置上下文管理，同时提供服务发现和负载均衡能力。

原创 ArchSummit回顾：从云原生到实时数据湖，架构如何支撑业务发展

网易数帆架构实践始终紧扣业务发展需求。

原创 基于 Impala 的高性能数仓建设实践之虚拟数仓

导读：本文主要介绍网易数帆 NDH 在 Impala 上实现的虚拟数仓特性，包括资源分组、水平扩展、混合分组和分时复用等功能，可以灵活配置集群资源、均衡节点负载、提高查询并发，并充分利用节点资源。接着上一篇。对于高性能分析型数仓，除了需要有优秀的执行引擎能够让查询尽快完成外，还需避免因为查询间的相互干扰导致查询性能下降的问题，比如对计算和 IO 资源的竞争等。上节提到 Impala 可以通过资源池来进行计算资源的管理。但在使用时发现光有资源池还不够，仍然会出现不同的资源池竞争同一个计算节点上内存资源等问题。

原创 网易数帆深度参编中国信通院《低代码发展白皮书（2022年）》

近日，“2022数字化转型发展高峰论坛”在京召开。大会以 “数字原生、产业新生、价值共生”为主题，共同探讨数字化转型的最新趋势，分享数字化转型创新成果，树立行业发展风向标，并发布多项低代码领域的研究成果，获得业界广泛关注。此次入选参编单位，代表网易数帆在低代码领域的产品技术实力受到中国信通院、中国通信标准化协会等业界权威机构的肯定与认可。

原创 开源流式湖仓服务 Arctic 详解：并非另一套 Table Format

本文根据Arctic 开源发布会演讲内容整理（略有删减），为大家系统解读 Arctic 项目研发初衷、生态定位、核心特性、性能表现及未来规划。

原创 技术专家说 | 如何基于 Spark 和 Z-Order 实现企业级离线数仓降本提效？

Apache Spark数仓任务最优解决方案。

原创 从 Delta 2.0 开始聊聊我们需要怎样的数据湖

Delta2.0 的发布，标志着数据湖 table format 标准开始走向明确，delta、iceberg 和 hudi 的竞争变得白热化的同时，企业以及相关的供应商应当开始认真考虑怎样引入数据湖 table format 技术，给平台用户带来 Lakehouse 的最佳实践。...

原创 Arctic开源！网易数帆×华泰证券，推动湖仓一体落地

Arctic已于今日正式开源！

原创 网易数帆自主创新再获认可：轻舟微服务入选信创技术图谱

技术攻关领创新，降本增效促落地！

原创 QCon 回顾 | Data Fabric：逻辑统一、物理分散

2022年被列为数据分析领域十大技术趋势之首，它究竟有哪些价值？

原创 数据治理体系演进简介

体系化的数据治理是如何实现的。

原创 入选爱分析·银行数字化厂商全景报告，网易数帆助力金融数字化场景落地

网易数帆助力金融数字化场景应用落地！

原创 直播预约丨流式湖仓服务，大数据的终结？这场开源发布会为你揭晓！

Arctic开源线上发布会将于8月11日14：00开播！

原创 定档615 | 数字化基础软件自主创新分享周即将来袭，点击获取“通关密钥”！

6月15-24日，数字化基础软件自主创新分享周即将火热来袭预约通道现已正式开启