![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
网易数帆
文章平均质量分 87
网易数帆大数据
网易数智旗下全链路大数据生产力平台,聚焦全链路数据开发、治理及分析,为企业量身打造稳定、可控、创新的数据生产力平台,服务“看数”、“管数”、“用数”等业务场景,盘活数据资产,释放数据价值。
展开
-
极速开发,无限可能,2023网易低代码大赛全新赛季启动
2023网易低代码大赛重磅来袭!平台以自研的NASL语言为特色,提供实用丰富的组件库,快速开发复杂的企业级应用软件!免费报名活动,试试自己能做出什么有意思的作品呢~原创 2023-03-13 19:36:44 · 194 阅读 · 0 评论 -
技术专家说 | 金融分布式多活架构在落地之时,都有哪些值得关注的点?
市场的变幻,政策的完善,技术的革新……种种因素让我们面对太多的挑战,这仍需我们不断探索、克服。由网易数帆云原生技术专家翁扬慧对话InfoQ编辑,为大家分享了金融分布式多活架构在落地时,都有哪些值得关注的点,为行业数字化转型下的金融技术架构演进提供参考。原创 2023-02-22 11:17:27 · 315 阅读 · 0 评论 -
Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践
在生产环境有大量的场景会用到ES做文档、日志存储后端,因为ES优秀的全文检索能力在很多时候可以大大的简化相关系统设计的复杂度。比较常见的为日志存储,链路追踪,甚至是监控指标等场景都可以用ES来做。原创 2023-01-16 11:52:39 · 265 阅读 · 0 评论 -
拒绝数据系统熵增,未来企业如何开展数据治理
孤立的数据体系也会随着时间的推移而逐步腐坏,指标口径不一致、数据不准确等就是系统熵增架构腐坏的表现,数据治理则是我们人为施加于体系之上用于对抗熵增的“外力”。原创 2023-01-16 11:21:10 · 158 阅读 · 0 评论 -
新一代云原生日志架构 - Loggie 的设计与实践
严选基于loggie的日志平台化建设,我们一方面在满足基于日志的问题分析诊断这一基础需求之余,进一步了提升日志质量、问题排查效率、全链路可观测可运维能力。另一方面,我们扩展能力与丰富应用场景,只需要简原创 2023-01-12 14:06:14 · 853 阅读 · 0 评论 -
网易云音乐用户画像资产治理及业务赋能
数量大体现在用户画像涉及上千指标,需要对这些指标做统一的管理,确保指标及其对应表的高内聚底耦合,任务链路存在很多7-8层的任务层级,层级越多,任务的稳定性越差,需要对任务链路进行压缩;用户画像的逻辑层建模就是为了实现整个画像层,可以实现数据的一致性标准,确保数是高内聚低耦合的,同时也确保了整体的可扩展性,比如新增游戏业务的话,那就在行为画像中添加游戏实体,可以实现整个逻辑层的可扩展而不需要重构整个内容。综上,可以概括为云音乐用户画像资产,存在链路强耦合,计存高成本,口径不统一,产品性能又不足的现状问题。原创 2023-01-09 17:21:32 · 364 阅读 · 0 评论 -
多点DMALL × Apache Kyuubi:构建统一SQL Proxy探索实践
伴随着国家产业升级的推进和云原生技术成熟,多点 DMALL 大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入 Kyuubi 实现统一 SQL Proxy 的角度讲述这一探索实践的历程。原创 2022-11-30 17:00:48 · 499 阅读 · 0 评论 -
网易传媒基于 Arctic 的低成本准实时计算实践
Hive表里可见的数据是经过 Optimize 过后的数据,Optimize 由 AMS 来调度,Flink 任务异常执行文件的读写合并,并且把 Metric 上报给 AMS, 由 AMS 来把这一次 Optimize 执行的结果 Commit,AMS 天然知道这一次 Optimize 推进到了哪次 Transaction, 并且 AMS 本身也存储了 Transaction 对应的 Watermark,也就知道 Hive 表水位推进到了哪里。但在实时入湖的场景下,下游任务缺乏一个感知数据是否就绪的途径。原创 2022-11-09 16:44:59 · 441 阅读 · 0 评论 -
Arctic 基于 Hive 的流批一体实践
本文介绍了网易数帆开源的新一代流式湖仓 Arctic 以及其基于 Hive 的流批一体实践。希望读者可以经此文章了解 Arctic 并对业务构建流批一体的数据湖有帮助。原创 2022-11-04 18:44:39 · 157 阅读 · 0 评论 -
Service Mesh Summit 回顾 | 轻舟服务网格的无侵入增强 Istio 经验
在云原生社区近日主办的 Service Mesh Summit 2022 服务网格峰会上,网易数帆云原生技术专家方志恒分享了轻舟服务网格无侵入增强 Istio 的经验,本文据此次分享整理,介绍了对无侵入和实现的思考,轻舟服务网格演进过程中的扩展增强,以及这些扩展增强和无侵入的关系。这里 “无侵入” 强调的是对服务网格基础设施本身的无侵入,而不是只有对业务的无侵入,后者是服务网格本身的定位所要考虑的内容。原创 2022-10-17 10:25:43 · 818 阅读 · 0 评论 -
不到十天,智能答题系统搭建完成…低代码为数字政府按下“加速键”
9月1日-9月15日,由杭州市数据资源管理局(以下简称市数据资源局)主办的《浙江省公共数据条例》有奖知识竞赛活动正式启动。该活动一经发布,便受到广大市民的关注。该线上活动平台正是杭州市数据资源管理局联手网易数帆共同搭建的,通过不到十个工作日的时间,网易数帆基于旗下的轻舟低代码应用开发平台,帮助市数据资源局完成在竞赛答题、后台管理、排名展示等多个板块页面的设计、开发、测试工作,实现快速搭建,从而保障系统顺利上线。原创 2022-09-09 15:00:54 · 169 阅读 · 0 评论 -
Apache Kyuubi 在小米大数据平台的应用实践
WorkspaceA 下面的用户使用平台发放的 Token,选择各类客户端工具,向引擎提交 SQL 查询,Kyuubi Server 会自动将用户 SQL 提交到该空间所属的计算引擎上去,来保证用户使用资源的隔离性。由于之前已经实现了对 Spark Engine 的管理服务,我们将 Kyuubi Engine 的管理直接从 Kyuubi Server 剥离,形成了单独的 Engine Manager 服务,负责 Engine 的生命周期管理,配置上下文管理,同时提供服务发现和负载均衡能力。原创 2022-09-02 17:00:39 · 1285 阅读 · 0 评论 -
ArchSummit回顾:从云原生到实时数据湖,架构如何支撑业务发展
网易数帆架构实践始终紧扣业务发展需求。原创 2022-08-25 11:13:47 · 655 阅读 · 0 评论 -
网易数帆深度参编中国信通院《低代码发展白皮书(2022年)》
近日,“2022数字化转型发展高峰论坛”在京召开。大会以 “数字原生、产业新生、价值共生”为主题,共同探讨数字化转型的最新趋势,分享数字化转型创新成果,树立行业发展风向标,并发布多项低代码领域的研究成果,获得业界广泛关注。此次入选参编单位,代表网易数帆在低代码领域的产品技术实力受到中国信通院、中国通信标准化协会等业界权威机构的肯定与认可。原创 2022-08-19 13:49:00 · 2675 阅读 · 0 评论 -
开源流式湖仓服务 Arctic 详解:并非另一套 Table Format
本文根据Arctic 开源发布会演讲内容整理(略有删减),为大家系统解读 Arctic 项目研发初衷、生态定位、核心特性、性能表现及未来规划。原创 2022-08-18 18:29:28 · 1089 阅读 · 0 评论 -
技术专家说 | 如何基于 Spark 和 Z-Order 实现企业级离线数仓降本提效?
Apache Spark数仓任务最优解决方案。原创 2022-08-17 19:23:10 · 280 阅读 · 0 评论 -
从 Delta 2.0 开始聊聊我们需要怎样的数据湖
Delta2.0 的发布,标志着数据湖 table format 标准开始走向明确,delta、iceberg 和 hudi 的竞争变得白热化的同时,企业以及相关的供应商应当开始认真考虑怎样引入数据湖 table format 技术,给平台用户带来 Lakehouse 的最佳实践。...原创 2022-08-11 18:31:09 · 224 阅读 · 0 评论 -
Arctic开源!网易数帆×华泰证券,推动湖仓一体落地
Arctic已于今日正式开源!原创 2022-08-11 17:50:32 · 752 阅读 · 0 评论 -
网易数帆自主创新再获认可:轻舟微服务入选信创技术图谱
技术攻关领创新,降本增效促落地!原创 2022-08-09 16:23:21 · 674 阅读 · 0 评论 -
QCon 回顾 | Data Fabric:逻辑统一、物理分散
2022年被列为数据分析领域十大技术趋势之首,它究竟有哪些价值?原创 2022-08-09 14:24:32 · 2594 阅读 · 0 评论 -
数据治理体系演进简介
体系化的数据治理是如何实现的。原创 2022-08-05 17:18:26 · 150 阅读 · 0 评论 -
入选爱分析·银行数字化厂商全景报告,网易数帆助力金融数字化场景落地
网易数帆助力金融数字化场景应用落地!原创 2022-08-04 18:05:34 · 302 阅读 · 0 评论 -
直播预约丨流式湖仓服务,大数据的终结?这场开源发布会为你揭晓!
Arctic开源线上发布会将于8月11日14:00开播!原创 2022-08-02 17:26:39 · 144 阅读 · 0 评论 -
定档615 | 数字化基础软件自主创新分享周即将来袭,点击获取“通关密钥”!
6月15-24日,数字化基础软件自主创新分享周即将火热来袭预约通道现已正式开启原创 2022-06-01 13:58:03 · 249 阅读 · 1 评论 -
@所有人,网易数字+大会报名通道正式开启!
今天起,一年一度的网易数字+大会启动,报名通道正式开放!网易数字+大会已连续举办4年,是网易重磅打造的数字化及数字新基建领域年度主题盛会。多加一点行业解读,多加一点重磅发布,多加一点行业优秀经验分享……每年这个时刻,网易数字+大会都吸引了商业、技术各领域从业者共聚一堂,共同解读最新数字生态,分享前沿技术成果,展示领先转型实践。8月12日,在“数字新局,开放共生”2021网易数字+大会上,期待今年再次相聚!新局解读,把握行业趋势本次大会议程部分分为主论坛、分原创 2021-07-22 19:01:37 · 180 阅读 · 1 评论 -
快手打新挤爆券商系统,网易数帆稳定性保障方案助力升级/快手打新挤爆系统,券商分布式技术底座如何升级
相信大家都还记得快手“老铁”挤爆券商系统的“大动作”,足够666。2021年刚开年,快手正式启动招股,申购情况比预测得还要火爆。认购开启仅2分钟,券商的融资额度便几乎被一抢而空,而认购页面的排队人数则还有数万人……“手快”也抢不到的快手让我们先来回顾下故事发生的整个过程。虎嗅网报道,当天10点30分认购开始,富途率先释放80亿港元的融资额度。短短4分钟,剩余银行融资额度就仅剩1.34万港元,而排队人数却还有4万多人。13分钟后,富途证券首日的80亿融资额度就被一抢而空。还有投资者反...原创 2021-02-02 11:25:01 · 361 阅读 · 0 评论 -
“与未来同行”线上开年演讲特别版,开启预约
今天结束,2020就过完了。写完无数年终总结,也终于抽空好好想想,自己的2020怎么样 VS 2021有什么计划?这一次,我们换种过法,先听听、看看外面正在发生什么。2020是黑天鹅事件频发的一年,也可能是充满机会的一年…如果你也有这些疑问:数字化转型会影响到我吗?哪些行业还有新的机会?什么技能可能会在未来变得更重要呢?那这或许是影响未来5-10年职业发展是否快进的2个小时。我们邀请网易技术的领军人物、10多亿网易用户背后的男人,特别梳理,奉上一场与千万泛..原创 2020-12-31 18:59:35 · 177 阅读 · 0 评论 -
重磅集结!CNCF/VMware/PingCAP/网易数帆/阿里云联合出品云原生生态大会
“云原生(Cloud Native)”这个词在2020年刷屏了。在企业积极进行数字化转型,全面提升效率的今天,云原生被认为是云计算的“下一个时代”。12月16日、12月17日,来自CNCF、VMware、PingCAP、网易数帆、阿里云的15位嘉宾将共同分享云原生的技术理念和实践。网易数帆在很早期即已使用云原生技术。早在2016年,网易数帆基于Kubernetes和Docker的Serverless容器的技术已经成熟,并在实际大规模生产中应用。在本次大会上,网易数帆将和客户共同带来:12月1.原创 2020-11-27 14:25:51 · 199 阅读 · 1 评论 -
信通院首批微服务分级评估结果公布,网易数帆轻舟微服务入选先进级
10月21日,由中国信息通信研究院(以下简称“信通院”)主办的2020年“云原生产业大会”在北京召开,本次大会以“云原生应用”为主题,探讨如何推动云原生实践落地和数字化转型。大会公布了首批微服务分级评估结果,网易数帆入选先进级(最高级别)企业。早在2018年,信通院就已经发布了《分布式应用架构技术能力要求第1部分:微服务平台》,标准从微服务架构、微服务管理平台和安全层面规定了微服务架构平台的技术规范和能力要求。近几年,信通院紧跟云原生领域技术发展,首次推出微服务平台服务能力分级评估,为供应商建设微服务平原创 2020-10-30 10:34:30 · 373 阅读 · 1 评论 -
网易数帆开源贡献获业界肯定,轻舟API网关获OSCAR尖峰开源技术创新奖
2020年10月16日,由中国信息通信研究院主办的“2020开源产业大会”在北京线下与线上同步召开,主办方在会上公布了“OSCAR尖峰开源奖项”各个奖项的评选结果,由网易数帆基于Envoy 和 Istio研发的轻舟API网关在众多参评项目中脱颖而出,获得“OSCAR尖峰开源技术创新奖(基于社区版本二次开发)”。“OSCAR开源尖峰案例”评选旨在更好地推动开源技术在中国市场的落地,鼓励企业或个人进一步探索我国开源技术发展模式。当前Envoy 和 Istio作为主流云原生开源项目在国内被大型..原创 2020-10-26 15:10:33 · 311 阅读 · 1 评论 -
2020年有哪些云原生技术实践?这场活动不容错过!
关注度居高不下,云原生技术到底有何魅力?火了这么多年,云原生都有哪些实际应用?如何借助云原生技术驱动业务增长?10月24日,由网易数帆主办的网易数字+云原生论坛将在网易北京研发中心举办。以“玩转云原生,拥抱数字化”为主题,围绕行业数字化转型最新趋势,研商新型数字技术发展方向和应用前景,深入分享不同企业的技术实践。深耕云原生,多行业解决方案深入盘点火了这么多年,云原生在各行各业都有哪些实际应用?上午的主论坛将围绕此话题展开讨论。作为网易数帆旗下一站式云原生软件生产力平台,轻舟凭借技原创 2020-10-20 18:54:15 · 339 阅读 · 0 评论 -
网易数帆基础软件平台获2020南京软博会年度创新产品奖
2020第十六届中国(南京)国际软件产品和信息服务交易博览会(以下简称南京软博会)顺利拉开帷幕,以“数字经济 智创未来”为主题,重点展示工业互联网、云计算、5G、人工智能等数字经济新产业新业态。与往届不同,今年首次设立了信息技术应用创新展区,国产基础软件创新成为会场热词;网易数帆基础软件平台等10款产品也广获关注,获评年度创新产品奖。网易数帆基础软件平台等10款产品获年度创新产品奖在本届软博会颁奖环节,网易数帆基础软件平台等10款产品获评年度创新产品奖。网易数帆是网易公司旗下数字化转型基础.原创 2020-09-10 17:01:40 · 462 阅读 · 0 评论 -
性能1.84倍于Ceph!网易数帆Curve分布式存储开源
在上周刚结束的网易数字+大会上网易数帆宣布:开源一款名为Curve的高性能分布式存储系统,性能可达Ceph的1.84倍!网易副总裁、网易杭州研究院执行院长兼网易数帆总经理汪源:基础软件的能力对于数字化转型非常关键,当前存储领域需要一款性能更高、可用性/可靠性更好、自治能力更强的分布式存储系统,Curve的开源不仅代表网易数帆在基础软件市场的坚持,也为软件定义基础设施生态的繁荣再添一把火。采用先进架构设计 单卷性能1.84倍于CephCurve的定位,是提供一个高性能、低.转载 2020-07-21 15:17:47 · 419 阅读 · 0 评论