- 博客(119)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 2023 OADC：开放原子云社区正式启航，Curve、Kyuubi获奖
12月16-17日，2023开放原子开发者大会（OADC）在江苏省无锡市召开。大会首日，由网易数帆联合发起的“开放原子云社区”宣告成立，随后网易数帆资深云原生专家侯诗军分享了稳定性保障的前沿实践，Curve、Apache Kyuubi则双双获得了2023开源项目。携手开放原子开源基金会，网易杭州研究院和网易数帆正以开源技术的积累、开放协作的姿态，逐步成为推动我国数智软件生态繁荣昌盛的关键力量。开放...
2023-12-16 21:21:47
194
原创 大模型实践 | 为慧眼智能可观测平台插上ChatInsight的翅膀
ChatInsight是网易杭州研究院（简称杭研）在慧眼智能可观测平台引入大模型开发的创新功能，支持通过自然语言交互实现高效数据共享与经验积累，以提高业务日常稳保工作效率。ChatInsight目前已在网易云音乐、新闻、智企、严选、有道等业务落地，并已作为网易数帆Cloud Native Copilot的一项核心能力，集成了到云原生稳定性保障平台中。在本文中，杭研技术专家青龙解读了ChatInsi...
2023-12-15 18:14:53
119
原创 实践干货 | CodeWave如何支持多人协作开发应用
在传统软件开发领域里，要完成具备一定复杂程度的软件，通常都会由一个研发团队协作开发。软件复杂度越大，研发团队的规模也就越大。为了让研发团队能够高效的进行协同开发，业务引入了优秀的代码版本管理工具，比如传统软件开发主流使用的代码版本管理工具是Git和SVN。与此同时，新兴的零代码、低代码开发方式也正在快速崛起。无论是国内阿里的宜搭和腾讯的微搭，还是软件巨头微软Power Apps和曾估值接近百亿美元...
2023-12-13 17:56:58
133
原创 开源不辍，薪火相传——网易杭研首位 Apache Incubator PMC 诞生
网易杭州研究院大数据专家燕青再添新头衔，这一次，是 Apache Incubator PMC成员。近日，Apache Incubator PMC（Apache 软件基金会孵化器项目管理委员会，简称 IPMC）宣布，接纳燕青（Kent Yao）为 Apache Incubator PMC 成员，参与对是否接纳项目进入 Apache 基金会孵化的表决。Apache 软件基金会是全球顶尖的开源基金会，...
2023-11-30 17:30:44
124
原创 证券行业异构系统众多，微服务和网格如何全都要
融合两类架构，让不同的证券业务在统一平台上按需灵活选择架构模式，以相同的体验和管理模式进行服务治理，更高效地推进数字化底座升级
2023-06-13 17:42:21
327
原创 Slime Meshregistry 开源，化解服务网格多注册中心兼容之痛
背景服务发现是微服务治理的核心环节。传统的微服务架构采用Consumer/Provider模式，Provider将服务信息注册到注册中心，Consumer通过注册中心发现Provider的服务信息。在云原生服务网格体系中，服务发现由控制面Istio完成。Istio以内置方式实现了Kubernetes、Eureka等注册中心的适配器，并通过适配器获取各注册中心的服务信息，然后转换成Istio体系的服...
2023-04-27 17:29:49
137
原创 Arctic 实时维表 Join 原理解析
背景介绍维度表是数据仓库中的概念。它记录了事实表中属性的多维度详细信息。在数据分析、实时监控、精准推荐等业务中，需要维表 Join 来丰富事实表的信息，进而作进一步计算分析。其在生产实践中具有广泛的应用。在实时计算中，Flink 开放了通用的 LookupJoin API，Connector 开发者只需实现一个自定义函数就能快速实现 LookupJoin 功能。需要在该函数中检索出对应 key 的...
2022-11-18 11:32:36
1427
原创 网易对象存储NOS十周年：为什么能不被取代？（文末有福利）
谨以此文，献给曾经和现在为项目努力付出的小伙伴们，以及相信我们、陪伴项目共同成长的用户，并与业界就服务端产品如何保持生命力进行交流。2012年10月30日，网易杭州研究院（以下简称杭研）上线了一款新的存储产品，当时兴致勃勃的研发团队，并没有预料到它会如何发展。十年间，这款产品支撑了网易公司诸多业务的成长，见证了多款明星产品的发展，乃至独立上市。目前，它在网易云音乐、智慧企业、灵犀、传媒、LOFTE...
2022-10-31 18:05:46
1227
原创 Arctic 基于 Hive 的流批一体实践
背景随着大数据业务的发展，基于 Hive 的数仓体系逐渐难以满足日益增长的业务需求，一方面已有很大体量的用户，但是在实时性，功能性上严重缺失；另一方面 Hudi，Iceberg 这类系统在事务性，快照管理上带来巨大提升，但是对已经存在的 Hive 用户有较大的迁移成本，并且难以满足流式计算毫秒级延迟的需求。为了满足网易内外部客户对于流批一体业务的需求，网易数帆基于 Apache Iceberg 研...
2022-10-25 11:40:01
770
原创 Service Mesh Summit | 无侵入增强 Istio，网易数帆践行这三条原则
在云原生社区近日主办的 Service Mesh Summit 2022 服务网格峰会上，网易数帆云原生技术专家方志恒分享了轻舟服务网格无侵入增强 Istio 的经验，本文据此次分享整理，介绍了对无侵入和实现的思考，轻舟服务网格演进过程中的扩展增强，以及这些扩展增强和无侵入的关系。这里“无侵入”强调的是对服务网格基础设施本身的无侵入，而不是只有对业务的无侵入，后者是服务网格本身的定位所要考虑的内容...
2022-10-12 17:30:10
932
原创 万字长文详解开源流式湖仓服务Arctic
本文根据作者于Arctic开源发布会演讲内容整理（略有删减），系统解读Arctic项目研发初衷、生态定位、核心特性、性能表现及未来规划。首先感谢大家参与我们Arctic开源发布会。我是马进，网易数帆实时计算和湖仓一体团队负责人。我们在2020年开始关注数据湖新的技术，并用它来构建流批一体、湖仓一体的架构。最早我们使用Flink+Iceberg，但是实践过程中发现这个架构距离生产场景还有很大的gap...
2022-08-17 18:11:50
1388
原创 云原生行业应用崛起，从“可用”到“好用”有多远？
云原生与数字化转型正在相互促进。根据中国信通院发布的《云计算白皮书》，2020年我国云原生在金融、制造、服务业等行业的应用快速崛起，行业数字化转型的带动效应初步显现。另一方面，采用云原生架构的生产集群规模显著提升，但规模化应用带来的安全、性能和可靠性等问题仍需考虑。如何破除这些用户侧的顾虑，让云原生成为行业IT架构的重要组成部分真正发挥价值？网易数帆轻舟云原生平台负责人冯...
2022-06-23 11:45:40
899
转载 InfoQ专访：云原生时代，中间件应该如何“进化”？
云原生热度持续攀升，这一趋势也延伸了到中间件领域。借助云原生技术，中间件正在解决了自身的弹性、韧性、运维、交付等问题。同时，开发者使用中间件方式也越来越云原生化。
2022-06-17 16:32:36
955
原创 网易数帆 Envoy Gateway 实践之旅：坚守 6 年，峥嵘渐显
服务网格成熟度不断提升，云原生环境下流量处理愈发重要， Envoy Gateway 项目于近日宣布开源，“旨在大幅降低将 Envoy 作为 API 网关的使用门槛”，引发了业界关注。2018 年 11 月，Envoy 成为 CNCF 毕业项目，开始作为一款高性能数据和服务代理软件为从业者所知，但此后两三年，国内 API 网关实践中，选型 Envoy 仍是一条较为孤独的道路...
2022-05-27 11:46:55
1247
原创 有数BI大规模报告稳定性保障实践
本文主要结合实践总结了大规模报告稳定性保障方法。项目背景随着数据化管理思维的逐渐深入人心，无论是网易集团内部用户还是外部商业化客户，越来越多的人在大规模使用有数BI。以严选为例，日常有访问量的报告有5w+，这些报告覆盖了用户、商品、渠道、流量、营销、仓储、供应商、财务等几乎所有业务板块，有些报告嵌入在管理层用的app中，有些报告用在了业务周会或复盘会，有些报告嵌入业务系统辅助业务决策…，在日常工作中发挥着重要的作用，高峰期图表日查询量10w+，这给报告的稳定性保障带来很大的挑战。报告的稳定性保障，.
2022-05-17 14:45:51
1049
原创 Curve 基于 Raft 的写时延优化
1 背景Curve（github.com/opencurve/curve）是网易数帆自主设计研发的高性能、易运维、全场景支持的云原生软件定义存储系统，旨满足Ceph本身架构难以支撑的一些场景的需求，于2020年7月正式开源。当前由CurveBS和CurveFS两个子项目构成，分别提供分布式块存储和分布式文件存储两种能力。其中CurveBS已经成为开源云原生数据库Polar...
2022-04-27 11:45:00
2422
原创 网易数帆王佰平：我的 Envoy Maintainer 之路
受邀成为 Envoy 社区国内首位且唯一的 Maintainer，网易数帆资深架构师王佰平讲述个人四年开源贡献的心得体会。数字化浪潮下，云原生底层核心技术趋于成熟。根据中国信通院《云计算白皮书（2021年》，2020年国内微服务架构采用率超过50%，服务注册发现与服务代理技术已进入成熟期，而作为新一代微服务架构的服务网格（Service Mesh），也即将从技术爆发期进入整合期。网易数帆是国内云原生应用的先行者，率先实现了经典微服务框架与服务网格的整合、服务网格与 API 网关的整合，更实现了云原.
2022-04-24 14:24:37
1099
原创 Slime 2022 展望：把 Istio 的复杂性塞入智能的黑盒
1 导读网易数帆轻舟微服务团队很早就开始使用 Istio 做服务网格。在实践过程中，我们开发了很多 Istio 周边模块，方便了自身及网易集团内部客户使用 Istio。为了回馈社区，我们系统整理了这些模块，并选择了一部分，在2021年初开源出 Slime 项目（github.com/slime-io/slime）。Slime 项目旨在解决 Istio 使用上的痛点，方便用...
2022-04-22 11:46:20
554
原创 IstioCon 2022，网易数帆六年优化经验即将揭秘
北京时间4月25~29日，Istio 社区第二届全球峰会 IstioCon 2022 将于线上举行，来自 Google、网易、IBM、腾讯等公司的 80+ 服务网格（Service Mesh）技术专家将带来 60+ 场技术分享，其中网易数帆资深架构师 Yonka Fang（方志恒）将为全球开发者和用户分享网易数帆 Istio 实践经验。网易是服务网格技术的第一批践行者，网...
2022-04-11 17:30:00
1081
原创 T3 出行 Apache Kyuubi Flink SQL Engine 设计和相关实践
在日前的 Apache SeaTunnel & Kyuubi 联合 Meetup 上，T3出行大数据平台负责人、 Apache Kyuubi committer 杨华和T3出行高级大数据工程师李心恺共同分享了 Apache Kyuubi(Incubating) 在T3出行的最新实践与应用，包括基于 Kyuubi 设计的 Flink SQL Engine，Kyuubi 与 Apache Linkis 的集成，以及在T3出行的落地实践。JDBC 之于 Flink 的现状首先我们来聊一下 Apac.
2022-03-30 16:56:41
2028
1
原创 eBay 基于 Apache Kyuubi 构建统一 Serverless Spark 网关的实践
本文来自 eBay 软件工程师、Apache Kyuubi PPMC Member王斐在Apache SeaTunnel & Kyuubi 联合 Meetup的分享，介绍了Apache Kyuubi(Incubating)的基本架构和使用场景，eBay基于自身的需求对Kyuubi所做的增强，以及如何基于Kyuubi构建Unified & Serverless Spark Gateway。Kyuubi是什么首先介绍一下Kyuubi。Kyuubi是一个分布式的Thrift JDBC/OD.
2022-03-25 11:54:42
1264
原创 Spark on Kubernetes 与 Spark on Yarn 不完全对比分析
前言Apache Spark 是目前应用最广泛的大数据分析计算工具之一。它擅长于批处理和实时流处理，并支持机器学习、人工智能、自然语言处理和数据分析应用。随着 Spark 越来越受欢迎，使用量越来越大，狭义上的 Hadoop (MR) 技术栈正在收缩。另外，普遍的观点和实践经验证明，除了大数据相关的工作负载，Hadoop (YARN) 不具备相应的灵活性去跟更广泛的企业技术栈融合与集成。比如去承载一些在线业务，而这正是 Kubernetes（K8s) 所擅长的领域。事实上，Kubernetes 的出现为
2022-03-01 12:14:53
2571
原创 服务网格数据面性能深度调优
导读：服务网格作为云原生的重要技术，提升了微服务的流控、熔断、升级等服务治理能力，但同时sidecar的引入也导致了时延的增加。网易数帆通过对时延引入的具体分析，尝试利用eBPF和用户态协...
2022-02-23 18:19:11
1288
原创 基于OpenStack Ironic与DPU的网易数帆裸金属方案实践
背景目前，所有号称性能损耗小的VM技术，实际上都会有5-15%甚至更高的损耗。作为替代方案，如Gartner在2015年发布的报告“Market Trends: The Rise of B...
2022-02-18 11:49:18
2062
原创 网易数帆开源iSCSI服务器tgt独门优化，彻底解决性能问题
iSCSI是现代企业级存储系统中的一项重要技术， 开源iSCSI 服务器tgt存在单线程性能问题，而相关的优化补丁效果参差不齐，尚未真正解决问题，本文介绍网易数帆存储团队如何通过一系列独特...
2022-02-17 15:30:00
1757
原创 Hango Rider：网易数帆开源 Envoy 企业级自定义扩展框架
目前，Rider 扩展框架已经全面开源，并且被集成于开源 API 网关 Hango 当中，为 Hango 网关提供了灵活、强大、易用的自定义扩展能力。
2022-02-11 12:09:49
2703
原创 Arctic：网易数帆开放式流批一体表服务 | BDTC 精彩回顾
在近日举办的 BDTC 2021 中国大数据技术大会上，网易副总裁、网易杭州研究院执行院长、网易数帆总经理汪源在主题演讲中介绍了有数数据生产力平台的底层核心技术——开放式流批一体架构，重点...
2021-12-28 17:31:00
956
原创 开源 | KubeCube 用户管理与身份认证
前言KubeCube (https://kubecube.io) 是由网易数帆近期开源的一个轻量化的企业级容器平台，为企业提供 kubernetes 资源可视化管理以及统一的多集群多租户管...
2021-12-17 11:52:27
985
原创 开源 | CurveFS预览版重磅首发，Curve加速迈向云原生软件定义存储
今天，我们很高兴地发布Curve项目的文件系统，以及全新的部署工具。这也是CurveFS的第一个beta版本，预示着在Curve社区同仁的共同努力之下，Curve距离更好用的云原生软件定义...
2021-12-15 17:48:14
1533
原创 私有化场景下大规模云原生应用的交付实践
本文根据作者在 CSDN 云原生 Meetup 深圳站的演讲内容整理，分享云原生趋势下网易数帆在私有化场景下大规模应用的交付实践，包括在实践过程中遇到的问题，如何实现标准化、高效率且高质量的交付方案，以及取得效果。背景介绍软件私有化交付部署是建立在企业自有基础设施的基础之上的，是为一个企业客户单独使用而构建的硬件/软件运行环境；因而能够提供对数据安全、合规审计和服务质量的有效控制。软件的私有化是由市场供需关系决定的。也分为甲方和乙方，甲乙双方各取所需从而使面向企业的私有化市场正常运转，例如以下双
2021-12-10 10:22:14
1139
原创 Apache Kyuubi：灵活运用引擎隔离共享，加速即席查询，支持大规模 ETL
为了能让 Kyuubi可以更好的满足诸如 ETL、BI 报表等多种大数据场景的应用，从 Kyuubi v1.0.0 版本开始，我们引入了 Kyuubi 引擎共享级别这个概念，来对执行侧进行不同粒度的隔离和共享，这个功能在多次版本的迭代过程中不断被优化和完善。
2021-11-25 09:45:53
4125
原创 Hadoop Meetup 2021 回顾 - Apache Kyuubi 助力 CDH 解锁 Spark SQL
Apache Kyuubi(Incubating)（下文简称Kyuubi）是⼀个构建在Spark SQL之上的企业级JDBC网关，兼容HiveServer2通信协议，提供高可用、多租户能力。Kyuubi 具有可扩展的架构设计，社区正在努力使其能够支持更多通信协议（如 RESTful、 MySQL）和计算引擎（如Flink）。Kyuubi的愿景是让大数据平民化。一个的典型使用场景是替换HiveServer2，帮助企业把HiveQL迁移到Spark SQL，轻松获得10~100倍性能提升（具体提升幅度与SQ
2021-11-17 11:27:48
1766
原创 2021网易可视化大赛冠军作品创意分享
编者按：一年一度的网易可视化大赛落下帷幕，参赛选手们凭借出彩的可视化作品，呈现了一个个精彩的数据故事。我们有幸邀请到本次大赛一等奖获得者——徐新宇同学，为大家现身讲述作品背后的创作思路与心得收获。大家好，我叫徐新宇，是一名科技公司的前端技术主管。很高兴有机会参与本届网易可视化大赛，并获得名次。我提交的作品是《浙江省高速数智报告》，当初拿到组委会提供的行业模板数据时，我就特意选择了交通行业数据，是因为和本职工作有些关联，在数据理解上会容易一些。我提交的作品是《浙江省高速数智报告》，当初拿到.
2021-11-12 11:53:26
1490
原创 COSCon‘21 精彩回顾 | Apache Kyuubi 在 T3 出行的深度实践
支撑了80%的离线作业，日作业量在1W+ 大多数场景比 Hive 性能提升了3-6倍 多租户、并发的场景更加高效稳定 T3出行是一家基于车联网驱动的智慧出行平台，拥有海量且丰富的数据源。因为车联网数据的多样性，T3出行构建了以 Apache Hudi 为基础的企业级数据湖，提供强有力的业务支撑。而对于负责数据价值挖掘的终端用户而言，平台的技术门槛是另一种挑战。如果能将平台的能力统合，并不断地优化和迭代，让用户能够通过 JDBC 和 SQL 这种最普遍最通用的技术来使用，数据生产力..
2021-11-12 09:57:33
2041
原创 KubeDiag 框架技术解析
KubeDiag 是基于 Kubernetes 云原生基础设施能力打造的开源框架，旨在解决云原生体系中运维诊断的自动化问题，帮助用户更加平滑地完成容器化落地。本文将为大家解读 KubeDiag 整体框架设计。Kubernetes 是一个生产级的容器编排引擎，但是 Kubernetes 仍然存在系统复杂、故障诊断成本高等问题。网易数帆近期开源的 KubeDiag，是基于 Kubernetes 云原生基础设施能力打造的框架，旨在解决云原生体系中故障诊断、运维恢复的自动化问题。主要包括以下几个维度：由.
2021-11-11 12:18:06
744
原创 开源 | KubeDiag 框架技术解析
KubeDiag 是基于 Kubernetes 云原生基础设施能力打造的开源框架，旨在解决云原生体系中运维诊断的自动化问题，帮助用户更加平滑地完成容器化落地。本文将为大家解读 KubeDi...
2021-11-10 16:02:19
300
原创 网易汪源：我们怎么做开源
本文作者：汪源，网易副总裁，网易杭州研究院执行院长，网易数帆总经理原载：公众号“冷技术热思考”网易数帆开源全景图今年数字+大会上我们第一次比较系统的推出了我们的开源计划（sf.163.com/opensource），将“架构开放、内核开源”作为我们的核心战略，尽可能的减少客户绑定，引起媒体的广泛关注。媒体经常会问我们开源怎么赚钱，一些同事也问过我同样的问题。网易数帆是一家商业化组织，为什么要做开源，而且还把项目捐赠给基金会（今年我们把Kyuubi项目捐赠给了Apache基金会），放
2021-11-10 15:24:46
717
原创 分布式存储防误删：CephFS 回收站实践
一、背景《机器学习平台统一化分布式存储Ceph的进阶优化》一文提及，网易云音乐常将 CephFS 用于AI训练的共享存储，通过 Kubernetes 调用创建 PV/PVC 对接 Ceph...
2021-11-04 17:33:33
1042
原创 开源 | 深入解读 KubeCube 多集群管理
KubeCube (https://kubecube.io) 是由网易数帆近期开源的一个轻量化的企业级容器平台，为企业提供 kubernetes 资源可视化管理以及统一的多集群多租户管理等...
2021-10-28 18:04:40
2297
原创 网易数帆基于 Envoy 的云原生网关实践
本文根据 InfoQ 公开课《如何基于开源Envoy，构建高性能云原生微服务网关》整理，有删减。简介：Envoy 是由 Lyft 开源的高性能网络代理软件。相比于 Nginx、HAProx...
2021-10-20 18:41:17
1015
网易数据产品实践@网易数帆技术沙龙.pdf
2021-06-24
网易云音乐数仓建设之路@网易数帆技术沙龙.pdf
2021-06-24
利用Intel Optane PMEM技术加速大数据分析.pdf
2021-06-24
ClickHouse在有赞的使用和优化.pdf
2021-06-24
Kyuubi：开源企业级Serverless Spark框架.pdf
2021-06-24
网易数帆开源分布式存储Curve监控、运维与质量体系.pdf
2020-12-13
网易数帆开源分布式存储Curve快照克隆子系统SnapshotClone.pdf
2020-12-13
网易数帆开源分布式存储Curve核心组件之ChunkServer数据节点.pdf
2020-12-13
Curve核心组件之MDS元数据节点-陈威-网易数帆.pdf
2020-12-13
Curve：新一代分布式存储系统设计要点
2020-11-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人