网易数帆社区博客

原创 快手打新挤爆券商系统，网易数帆稳定性保障方案助力升级/快手打新挤爆系统，券商分布式技术底座如何升级

相信大家都还记得快手“老铁”挤爆券商系统的“大动作”，足够666。2021年刚开年，快手正式启动招股，申购情况比预测得还要火爆。认购开启仅2分钟，券商的融资额度便几乎被一抢而空，而认购页面的排队人数则还有数万人……“手快”也抢不到的快手让我们先来回顾下故事发生的整个过程。虎嗅网报道，当天10点30分认购开始，富途率先释放80亿港元的融资额度。短短4分钟，剩余银行融资额度就仅剩1.34万港元，而排队人数却还有4万多人。13分钟后，富途证券首日的80亿融资额度就被一抢而空。还有投资者反...

原创 互联网公司的中台实践：网易杭研的中台往事

编者按：本文转载自网易副总裁、网易杭州研究院执行院长汪源的个人公众号“冷技术热思考”（欢迎搜索关注）。本文是中台系列的第三篇，《什么是中台？所有的中台都是业务中台》厘清中台概念，第二篇《如何建设中台？中台建设的组织、支撑技术和方法论》介绍了建设中台的方法，这篇将介绍网易杭研在中台道路上十多年的探索和经验教训，并补充在中台组织管理方面的方法。以下为原文（有少量改动）：我们面临的是一个VUCA（Vo...

原创 聊聊EasyData的触发器节点

网易数帆大数据开发平台提供了强大的调度系统，但用户也可能有自己的调度系统，实现一些定制化的能力，比如在自己的调度平台实现ODS层数据入湖，在网易数帆大数据开发平台做后续的加工，这时就需要将两个调度系统打通，实现跨系统之间的任务依赖，该如何做呢？针对这类场景，触发器节点就可以大显身手。

原创 ChatBI最佳实践

那就可以设置提示词在“问题包含字段”「工号」，“时，添加”「选择字段」然后在字段列表下拉选择“工号、员工组”字段。例如订单表中[订单日期]格式为[2017-02-14]，则格式串类型为[yyyy-mm-dd]（y为年，m为月，d为日），若[发货日期]格式为[03/12 2019]，则格式串类型为[mm/dd yyyy]例：「人员信息表」中为人员的基础信息明细数据，如果您希望用户基于该表的问答均能带上「员工姓名」，那就可以设置提示词在“所有问题”均「选择字段」，然后在字段列表下拉选择“员工姓名”这个字段。

原创 网易数帆与新核云联合发布“KPI云”，以数据驱动制造业经营提效

网易数帆历经二十余年技术沉淀，聚焦全链路数据开发治理及分析，以全面的大数据技术、产品及服务，服务企业“看数”、“管数”、“用数”等业务场景，盘活数据资产。以数据优化赋能企业经营与运转，网易数帆与新核云联合打造KPI云，帮助制造企业实时采集和分析生产数据，对生产异常进行快速反应，优化生产流程，让生产、制造过程。此外，KPI云的智能分析和优化功能，帮助企业实现了资源的最佳配置，进一步提升了。网易数帆和新核云的合作，不仅仅是技术的联合，更是理念的共鸣，双方携手，将共同致力于推动制造业的智能化升级。

原创 ChatBI提示词配置——让AI大模型更懂用户业务与习惯

🔍 用日常语言提问，AI即刻洞悉你的业务需求！有数ChatBI的提示词配置，让数据洞察触手可及。🌟 想要成为数据对话的高手？网易数帆的有数ChatBI，让业务术语与数据字段的匹配变得轻而易举。🚀 释放AI潜能，网易数帆的有数ChatBI让你的业务对话变得前所未有地智能和个性化！

原创 BI联动低代码，助力客服标签化质检，团队人效Up! Up! Up!

这里不得说市场很多的客服系统的质检模块都过于简单，因为很多平台都把质检当成了一个检查工具，但是对检查后的结果没有做一些有效的改进措施。从实现来说，有数BI报表和 Code Wave 结合，并实现两个系统用户打通和权限打通，该业务场景落地，一共花费3人天工作时间，可以把管理的抓手迅速落地，非常高效，值得推荐。所以有个工时过于简单的标签。3. 在大家能把问题描述清楚的时候，我们更希望对一些有价值的问题，进行提炼，整理成FAQ。1. 抽检页面：根据客户，组员，时间，问题类型，抽检百分比和问题时长，随机组合抽检。

原创 AutoETL：实现表、SQL代码、任务、调度信息等全链路自动化生成

能不能自动批量创建加工任务呢？而这些工作中除了模型设计和SQL代码存在业务上的差异外，其他一个个建表流程、建任务流程、上下游依赖配置、调度配置等基本是重复性操作，且这些操作还是在不同模块中各自完成，非常影响数仓建设效率，加大数据实施成本。对于数仓开发团队而言，业务和数据的调研完成后，大部分时间花在模型设计、SQL代码开发、建任务、配置任务依赖、配置任务调度等工作上。以上就是以DWD表为例，演示了批量自动建表、自动生成SQL代码、自动创建离线任务、自动配置任务调度和依赖信息等的整体流程。启航AI对话新篇章！

原创 有数BI在移动端的应用与实践

在企业数字化转型的大潮中，BI 移动端正在成为企业决策者和员工手中不可或缺的工具，它极大地改变了传统的企业数据分析和决策方式，使得企业能够以更灵活、更高效的方式进行决策和业务优化。此APP的搭建不需要开发、不需要产品，只需要一份设计、上传些图片、点点鼠标拖拉拽即可完成，极大的节约了研发成本，以下为用报告制作的门户样例，仅作抛砖引玉。如果花点心思，一份移动端报表也可以是一个门户，一个兼顾了数据展示、数据采集、数据分析的APP，同时它亦可以是串连OA 、行政通告的入口。2、利用token按标准生成集成链接；

原创 网易数帆交通数据资产运营、多元化集团管控解决方案正式发布！

🚀 网易数帆专为交通行业打造的数据资产运营和集团管控解决方案正式发布！👇 点击链接，查看完整版解决方案！

原创 3种常见的数据分析场景梳理

数据分析在各个领域广泛应用，其本质在于发现数据深层规律和机理以预测未来。常见场景包括描述现状、分析原因和预测未来。描述现状用合理指标评估业务状态，分析原因诊断业务异常并提出策略，预测未来则基于现有数据预测业务发展。

原创 如何在有数BI中实现千人千面的数据推送？

前几天有个项目管理的同学来咨询我一个问题，该项目有一个项目进度信息表，表中有项目名称，项目阶段，项目状态，项目任务等字段，在实际工作中想要实现如下场景：当项目名称为A时，且项目阶段是需求阶段，把相关的项目人物信息推送给张三，且不让看到其他项目信息。当项目名称为B时，且项目阶段是验收阶段，且项目状态是未完成的，把相关的项目任务信息推送给李四，且不让看到其他项目信息。简单的来说就是该如何根据不同人设置不同条件的推送规则，且推送要求看到不同的数据。

原创 一图看懂网易数帆指标平台EasyMetrics

🚀 简化数据分析，提升决策速度！EasyMetrics，指标的全生命周期管理平台。提升效率，缩短响应时间，增强指标质量，EasyMetrics让数据治理更高效。业务用户、开发者、数据团队，EasyMetrics让数据分析零门槛~头部证券公司通过EasyMetrics显著提升业务运营效率。👉 一张图，带你快速了解EasyMetrics的强大功能！集中化管理，降低门槛。开箱即用，提升查询速度。

原创 驱动数字化创新，打造信息化平台，甘肃优软互联携手网易数帆同筑数字未来 | 扬帆故事

同时，双方坚持创新，积极探索新领域的合作机会，构建生态合作的良性循环，为用户提供更优质的服务和解决方案。从政企长远发展角度，优软互联在服务政企用户过程中，也会建议用户去学习CodeWave相关技术知识，无论是快速定制开发、平台日常运维管理，都能显著减少对外部的依赖，实现。随着国内产业数字化水平的提升，创新成为行稳致远的关键，通过创新构建自身的数字竞争力成为行业共识，利用数字化技术定制智能平台，已成为企业追求创新和竞争优势的重要路径。第二点，其他平台往往只是用来解决一些小应用，而CodeWave是。

原创 赞评论收藏分享数智聚力 共赴新程 | 一图回顾2023网易数字＋大会满满干货！

原创 精耕数智，为创新加速——2023网易数帆城市行（北京）

#2023网易数帆城市行（北京）#‼超强阵容20位+嘉宾重磅出席‼超多干货涵盖数智产品发布、解决方案共创、生态体系共建、高层客户交流等议程‼不可错过的“饕餮盛宴”

原创 云原生技术交流会|走进网易 云启未来

原创 数据治理实践 | 数据表合规治理

这也极大的解决了数据复杂性的问题，地址：datahubproject.io。

原创 任务全链路诊断，助力云音乐大规模计算资源优化

造成这个现象的原因，主要是Spark任务在运行过程中每个Stage的task数量均会变化，若某个Stage的task数量骤减，且该数量小于当前可用的core数量，在认为每个task占用一个core的情况下，会存在大量Exeucotors的core出现空跑。总结起来就是：将任务从提交到产出结束（包括各个流转节点以及流转服务），抽象并划分成不同阶段，并对上述各个阶段细分不同的检查项进行诊断定位，提供相关专业化的优化以及解决建议，提高业务方对任务运行过程的掌控，包括任务运行效率的提升以及资源利用率的提升。

原创 大数据技术沙龙来袭！2023走进网易：创新重塑数据生产力

随着大数据平台和技术在企业内部的推进与落地，长效价值逐渐成为关注点。❓AIGC和ChatGPT热点是否能高效结合企业数据需求？扫描二维码也可报名活动，5月26日我们不见不散！❓企业IT部门又该如何更好地发挥其能力?❓如何更好地管理数据资产？❓是否有可参考的建设方法。

原创 数据治理实践 | 网易某业务线的计算资源治理

从计算资源治理实践出发，带大家清楚认识计算资源治理到底该如何进行，并如何运用到其他项目中

原创 如何做好一场NPS调研？

NPS调研该怎么做？下面将根据笔者的个人经历复盘，带领大家重温NPS的调研方法。

原创 极速开发，无限可能，2023网易低代码大赛全新赛季启动

2023网易低代码大赛重磅来袭！平台以自研的NASL语言为特色，提供实用丰富的组件库，快速开发复杂的企业级应用软件！免费报名活动，试试自己能做出什么有意思的作品呢~

原创 网易数帆数据治理体系、工具、流程、制度与管理概述

在许多企业中存在这样一个现象，就是对于数据的整个开发和治理往往是一个先污染后治理的过程，数据治理往往不会融入到数据生产的过程当中，与数据开发、建模、运维安全这些环节都会存在脱节的现象。

原创 技术专家说 | 金融分布式多活架构在落地之时，都有哪些值得关注的点？

市场的变幻，政策的完善，技术的革新……种种因素让我们面对太多的挑战，这仍需我们不断探索、克服。由网易数帆云原生技术专家翁扬慧对话InfoQ编辑，为大家分享了金融分布式多活架构在落地时，都有哪些值得关注的点，为行业数字化转型下的金融技术架构演进提供参考。

原创 Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践

在生产环境有大量的场景会用到ES做文档、日志存储后端，因为ES优秀的全文检索能力在很多时候可以大大的简化相关系统设计的复杂度。比较常见的为日志存储，链路追踪，甚至是监控指标等场景都可以用ES来做。

原创 拒绝数据系统熵增，未来企业如何开展数据治理

孤立的数据体系也会随着时间的推移而逐步腐坏，指标口径不一致、数据不准确等就是系统熵增架构腐坏的表现，数据治理则是我们人为施加于体系之上用于对抗熵增的“外力”。

原创 新一代云原生日志架构 - Loggie 的设计与实践

严选基于loggie的日志平台化建设，我们一方面在满足基于日志的问题分析诊断这一基础需求之余，进一步了提升日志质量、问题排查效率、全链路可观测可运维能力。另一方面，我们扩展能力与丰富应用场景，只需要简

原创 网易云音乐用户画像资产治理及业务赋能

数量大体现在用户画像涉及上千指标，需要对这些指标做统一的管理，确保指标及其对应表的高内聚底耦合，任务链路存在很多7-8层的任务层级，层级越多，任务的稳定性越差，需要对任务链路进行压缩；用户画像的逻辑层建模就是为了实现整个画像层，可以实现数据的一致性标准，确保数是高内聚低耦合的，同时也确保了整体的可扩展性，比如新增游戏业务的话，那就在行为画像中添加游戏实体，可以实现整个逻辑层的可扩展而不需要重构整个内容。综上，可以概括为云音乐用户画像资产，存在链路强耦合，计存高成本，口径不统一，产品性能又不足的现状问题。

原创 Curve 块存储应用实践 -- iSCSI

Curve 是云原生计算基金会 (CNCF) Sandbox 项目，是网易数帆发起开源的高性能、易运维、云原生的分布式存储系统。为了让大家更容易使用以及了解 Curve，我们期望接下来通过系列应用实践文章，以专题的形式向大家展示 Curve。本篇文章是Curve块存储应用实践的第一篇，该系列文章包括：tgt 是一个开源 iSCSI 服务器，详情请见 tgt githu[1]。

原创 多点DMALL × Apache Kyuubi：构建统一SQL Proxy探索实践

伴随着国家产业升级的推进和云原生技术成熟，多点 DMALL 大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入 Kyuubi 实现统一 SQL Proxy 的角度讲述这一探索实践的历程。

原创 网易传媒基于 Arctic 的低成本准实时计算实践

Hive表里可见的数据是经过 Optimize 过后的数据，Optimize 由 AMS 来调度，Flink 任务异常执行文件的读写合并，并且把 Metric 上报给 AMS， 由 AMS 来把这一次 Optimize 执行的结果 Commit，AMS 天然知道这一次 Optimize 推进到了哪次 Transaction， 并且 AMS 本身也存储了 Transaction 对应的 Watermark，也就知道 Hive 表水位推进到了哪里。但在实时入湖的场景下，下游任务缺乏一个感知数据是否就绪的途径。

原创 Arctic 基于 Hive 的流批一体实践

本文介绍了网易数帆开源的新一代流式湖仓 Arctic 以及其基于 Hive 的流批一体实践。希望读者可以经此文章了解 Arctic 并对业务构建流批一体的数据湖有帮助。

原创 KubeCube 新增版本转换：K8s 尝鲜再也不用担心影响老版本了

当用户需要在控制面纳管多 K8s 集群时，用户暂时不希望升级老的稳定的 K8s 集群，又希望新增的 K8s 集群是比较高的版本，这时，管控面的 KubeCube，就能够提供访问多版本 K8s 的能力，对外暴露统一的 K8s 风格的 RESTfule API，用户既可以使用精确的 GVR 去访问不同版本的 K8s 资源，也可用使用统一版本的 GVR 去访问不同版本的 K8s 资源，KubeCube 会做自适应转化。也欢迎大家参与贡献，提出宝贵的建议。

原创 SparkSQL on K8s 在网易传媒的落地实践

随着云原生技术的发展和成熟，大数据基础设施积极拥抱云原生是业内发展的一大趋势。网易传媒在2021年成功将SparkSQL部署到了K8s集群，并实现与部分在线业务的混合部署，到目前已经稳定运行了一年多。期间传媒联合杭研Spark内核团队和云计算团队对出现的问题进行了持续的改进，本文将对这些落地优化实践进行初步的梳理总结，希望能给大家带来一些有用的参考。

原创 Service Mesh Summit 回顾 | 轻舟服务网格的无侵入增强 Istio 经验

在云原生社区近日主办的 Service Mesh Summit 2022 服务网格峰会上，网易数帆云原生技术专家方志恒分享了轻舟服务网格无侵入增强 Istio 的经验，本文据此次分享整理，介绍了对无侵入和实现的思考，轻舟服务网格演进过程中的扩展增强，以及这些扩展增强和无侵入的关系。这里 “无侵入” 强调的是对服务网格基础设施本身的无侵入，而不是只有对业务的无侵入，后者是服务网格本身的定位所要考虑的内容。

原创 汪源：数据分析热词迭出，“三个统一”值得关注

从流批一体、湖仓一体、NoETL、数据中台到DataOps，现代数据分析领域热词迭出，企业如何抓住本质，经营数据生产力以提质增效？

原创 不到十天，智能答题系统搭建完成…低代码为数字政府按下“加速键”

9月1日-9月15日，由杭州市数据资源管理局（以下简称市数据资源局）主办的《浙江省公共数据条例》有奖知识竞赛活动正式启动。该活动一经发布，便受到广大市民的关注。该线上活动平台正是杭州市数据资源管理局联手网易数帆共同搭建的，通过不到十个工作日的时间，网易数帆基于旗下的轻舟低代码应用开发平台，帮助市数据资源局完成在竞赛答题、后台管理、排名展示等多个板块页面的设计、开发、测试工作，实现快速搭建，从而保障系统顺利上线。

原创 Apache Kyuubi 在小米大数据平台的应用实践

WorkspaceA 下面的用户使用平台发放的 Token，选择各类客户端工具，向引擎提交 SQL 查询，Kyuubi Server 会自动将用户 SQL 提交到该空间所属的计算引擎上去，来保证用户使用资源的隔离性。由于之前已经实现了对 Spark Engine 的管理服务，我们将 Kyuubi Engine 的管理直接从 Kyuubi Server 剥离，形成了单独的 Engine Manager 服务，负责 Engine 的生命周期管理，配置上下文管理，同时提供服务发现和负载均衡能力。

原创 ArchSummit回顾：从云原生到实时数据湖，架构如何支撑业务发展

网易数帆架构实践始终紧扣业务发展需求。