自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(112)
  • 资源 (10)
  • 收藏
  • 关注

原创 Arctic 实时维表 Join 原理解析

背景介绍维度表是数据仓库中的概念。它记录了事实表中属性的多维度详细信息。在数据分析、实时监控、精准推荐等业务中,需要维表 Join 来丰富事实表的信息,进而作进一步计算分析。其在生产实践中具有广泛的应用。在实时计算中,Flink 开放了通用的 LookupJoin API,Connector 开发者只需实现一个自定义函数就能快速实现 LookupJoin 功能。需要在该函数中检索出对应 key 的...

2022-11-18 11:32:36 327

原创 网易对象存储NOS十周年:为什么能不被取代?(文末有福利)

谨以此文,献给曾经和现在为项目努力付出的小伙伴们,以及相信我们、陪伴项目共同成长的用户,并与业界就服务端产品如何保持生命力进行交流。2012年10月30日,网易杭州研究院(以下简称杭研)上线了一款新的存储产品,当时兴致勃勃的研发团队,并没有预料到它会如何发展。十年间,这款产品支撑了网易公司诸多业务的成长,见证了多款明星产品的发展,乃至独立上市。目前,它在网易云音乐、智慧企业、灵犀、传媒、LOFTE...

2022-10-31 18:05:46 124

原创 Arctic 基于 Hive 的流批一体实践

背景随着大数据业务的发展,基于 Hive 的数仓体系逐渐难以满足日益增长的业务需求,一方面已有很大体量的用户,但是在实时性,功能性上严重缺失;另一方面 Hudi,Iceberg 这类系统在事务性,快照管理上带来巨大提升,但是对已经存在的 Hive 用户有较大的迁移成本,并且难以满足流式计算毫秒级延迟的需求。为了满足网易内外部客户对于流批一体业务的需求,网易数帆基于 Apache Iceberg 研...

2022-10-25 11:40:01 307

原创 Service Mesh Summit | 无侵入增强 Istio,网易数帆践行这三条原则

在云原生社区近日主办的 Service Mesh Summit 2022 服务网格峰会上,网易数帆云原生技术专家方志恒分享了轻舟服务网格无侵入增强 Istio 的经验,本文据此次分享整理,介绍了对无侵入和实现的思考,轻舟服务网格演进过程中的扩展增强,以及这些扩展增强和无侵入的关系。这里“无侵入”强调的是对服务网格基础设施本身的无侵入,而不是只有对业务的无侵入,后者是服务网格本身的定位所要考虑的内容...

2022-10-12 17:30:10 190

原创 万字长文详解开源流式湖仓服务Arctic

本文根据作者于Arctic开源发布会演讲内容整理(略有删减),系统解读Arctic项目研发初衷、生态定位、核心特性、性能表现及未来规划。首先感谢大家参与我们Arctic开源发布会。我是马进,网易数帆实时计算和湖仓一体团队负责人。我们在2020年开始关注数据湖新的技术,并用它来构建流批一体、湖仓一体的架构。最早我们使用Flink+Iceberg,但是实践过程中发现这个架构距离生产场景还有很大的gap...

2022-08-17 18:11:50 277

原创 云原生行业应用崛起,从“可用”到“好用”有多远?

云原生与数字化转型正在相互促进。根据中国信通院发布的《云计算白皮书》,2020年我国云原生在金融、制造、服务业等行业的应用快速崛起,行业数字化转型的带动效应初步显现。另一方面,采用云原生架构的生产集群规模显著提升,但规模化应用带来的安全、性能和可靠性等问题仍需考虑。如何破除这些用户侧的顾虑,让云原生成为行业IT架构的重要组成部分真正发挥价值?网易数帆轻舟云原生平台负责人冯...

2022-06-23 11:45:40 152

转载 InfoQ专访:云原生时代,中间件应该如何“进化”?

云原生热度持续攀升,这一趋势也延伸了到中间件领域。借助云原生技术,中间件正在解决了自身的弹性、韧性、运维、交付等问题。同时,开发者使用中间件方式也越来越云原生化。

2022-06-17 16:32:36 173

原创 网易数帆 Envoy Gateway 实践之旅:坚守 6 年,峥嵘渐显

服务网格成熟度不断提升,云原生环境下流量处理愈发重要, Envoy Gateway 项目于近日宣布开源,“旨在大幅降低将 Envoy 作为 API 网关的使用门槛”,引发了业界关注。2018 年 11 月,Envoy 成为 CNCF 毕业项目,开始作为一款高性能数据和服务代理软件为从业者所知,但此后两三年,国内 API 网关实践中,选型 Envoy 仍是一条较为孤独的道路...

2022-05-27 11:46:55 289

原创 有数BI大规模报告稳定性保障实践

本文主要结合实践总结了大规模报告稳定性保障方法。项目背景随着数据化管理思维的逐渐深入人心,无论是网易集团内部用户还是外部商业化客户,越来越多的人在大规模使用有数BI。以严选为例,日常有访问量的报告有5w+,这些报告覆盖了用户、商品、渠道、流量、营销、仓储、供应商、财务等几乎所有业务板块,有些报告嵌入在管理层用的app中,有些报告用在了业务周会或复盘会,有些报告嵌入业务系统辅助业务决策…,在日常工作中发挥着重要的作用,高峰期图表日查询量10w+,这给报告的稳定性保障带来很大的挑战。报告的稳定性保障,.

2022-05-17 14:45:51 291

原创 Curve 基于 Raft 的写时延优化

1 背景Curve(github.com/opencurve/curve)是网易数帆自主设计研发的高性能、易运维、全场景支持的云原生软件定义存储系统,旨满足Ceph本身架构难以支撑的一些场景的需求,于2020年7月正式开源。当前由CurveBS和CurveFS两个子项目构成,分别提供分布式块存储和分布式文件存储两种能力。其中CurveBS已经成为开源云原生数据库Polar...

2022-04-27 11:45:00 1566

原创 网易数帆王佰平:我的 Envoy Maintainer 之路

受邀成为 Envoy 社区国内首位且唯一的 Maintainer,网易数帆资深架构师王佰平讲述个人四年开源贡献的心得体会。数字化浪潮下,云原生底层核心技术趋于成熟。根据中国信通院《云计算白皮书(2021年》,2020年国内微服务架构采用率超过50%,服务注册发现与服务代理技术已进入成熟期,而作为新一代微服务架构的服务网格(Service Mesh),也即将从技术爆发期进入整合期。网易数帆是国内云原生应用的先行者,率先实现了经典微服务框架与服务网格的整合、服务网格与 API 网关的整合,更实现了云原.

2022-04-24 14:24:37 353

原创 IstioCon 2022,网易数帆六年优化经验即将揭秘

北京时间4月25~29日,Istio 社区第二届全球峰会 IstioCon 2022 将于线上举行,来自 Google、网易、IBM、腾讯等公司的 80+ 服务网格(Service Mesh)技术专家将带来 60+ 场技术分享,其中网易数帆资深架构师 Yonka Fang(方志恒)将为全球开发者和用户分享网易数帆 Istio 实践经验。网易是服务网格技术的第一批践行者,网...

2022-04-11 17:30:00 341

原创 T3 出行 Apache Kyuubi Flink SQL Engine 设计和相关实践

在日前的 Apache SeaTunnel & Kyuubi 联合 Meetup 上,T3出行大数据平台负责人、 Apache Kyuubi committer 杨华和T3出行高级大数据工程师李心恺共同分享了 Apache Kyuubi(Incubating) 在T3出行的最新实践与应用,包括基于 Kyuubi 设计的 Flink SQL Engine,Kyuubi 与 Apache Linkis 的集成,以及在T3出行的落地实践。JDBC 之于 Flink 的现状首先我们来聊一下 Apac.

2022-03-30 16:56:41 642

原创 eBay 基于 Apache Kyuubi 构建统一 Serverless Spark 网关的实践

本文来自 eBay 软件工程师、Apache Kyuubi PPMC Member王斐在Apache SeaTunnel & Kyuubi 联合 Meetup的分享,介绍了Apache Kyuubi(Incubating)的基本架构和使用场景,eBay基于自身的需求对Kyuubi所做的增强,以及如何基于Kyuubi构建Unified & Serverless Spark Gateway。Kyuubi是什么首先介绍一下Kyuubi。Kyuubi是一个分布式的Thrift JDBC/OD.

2022-03-25 11:54:42 274

原创 Spark on Kubernetes 与 Spark on Yarn 不完全对比分析

前言Apache Spark 是目前应用最广泛的大数据分析计算工具之一。它擅长于批处理和实时流处理,并支持机器学习、人工智能、自然语言处理和数据分析应用。随着 Spark 越来越受欢迎,使用量越来越大,狭义上的 Hadoop (MR) 技术栈正在收缩。另外,普遍的观点和实践经验证明,除了大数据相关的工作负载,Hadoop (YARN) 不具备相应的灵活性去跟更广泛的企业技术栈融合与集成。比如去承载一些在线业务,而这正是 Kubernetes(K8s) 所擅长的领域。事实上,Kubernetes 的出现为

2022-03-01 12:14:53 1680

原创 服务网格数据面性能深度调优

导读:服务网格作为云原生的重要技术,提升了微服务的流控、熔断、升级等服务治理能力,但同时sidecar的引入也导致了时延的增加。网易数帆通过对时延引入的具体分析,尝试利用eBPF和用户态协...

2022-02-23 18:19:11 547

原创 基于OpenStack Ironic与DPU的网易数帆裸金属方案实践

背景目前,所有号称性能损耗小的VM技术,实际上都会有5-15%甚至更高的损耗。作为替代方案,如Gartner在2015年发布的报告“Market Trends: The Rise of B...

2022-02-18 11:49:18 885

原创 网易数帆开源iSCSI服务器tgt独门优化,彻底解决性能问题

iSCSI是现代企业级存储系统中的一项重要技术, 开源iSCSI 服务器tgt存在单线程性能问题,而相关的优化补丁效果参差不齐,尚未真正解决问题,本文介绍网易数帆存储团队如何通过一系列独特...

2022-02-17 15:30:00 517

原创 Hango Rider:网易数帆开源 Envoy 企业级自定义扩展框架

目前,Rider 扩展框架已经全面开源,并且被集成于开源 API 网关 Hango 当中,为 Hango 网关提供了灵活、强大、易用的自定义扩展能力。

2022-02-11 12:09:49 1597

原创 Arctic:网易数帆开放式流批一体表服务 | BDTC 精彩回顾

在近日举办的 BDTC 2021 中国大数据技术大会上,网易副总裁、网易杭州研究院执行院长、网易数帆总经理汪源在主题演讲中介绍了有数数据生产力平台的底层核心技术——开放式流批一体架构,重点...

2021-12-28 17:31:00 334

原创 开源 | KubeCube 用户管理与身份认证

前言KubeCube (https://kubecube.io) 是由网易数帆近期开源的一个轻量化的企业级容器平台,为企业提供 kubernetes 资源可视化管理以及统一的多集群多租户管...

2021-12-17 11:52:27 716

原创 开源 | CurveFS预览版重磅首发,Curve加速迈向云原生软件定义存储

今天,我们很高兴地发布Curve项目的文件系统,以及全新的部署工具。这也是CurveFS的第一个beta版本,预示着在Curve社区同仁的共同努力之下,Curve距离更好用的云原生软件定义...

2021-12-15 17:48:14 1214

原创 私有化场景下大规模云原生应用的交付实践

本文根据作者在 CSDN 云原生 Meetup 深圳站的演讲内容整理,分享云原生趋势下网易数帆在私有化场景下大规模应用的交付实践,包括在实践过程中遇到的问题,如何实现标准化、高效率且高质量的交付方案,以及取得效果。背景介绍软件私有化交付部署是建立在企业自有基础设施的基础之上的,是为一个企业客户单独使用而构建的硬件/软件运行环境;因而能够提供对数据安全、合规审计和服务质量的有效控制。软件的私有化是由市场供需关系决定的。也分为甲方和乙方,甲乙双方各取所需从而使面向企业的私有化市场正常运转,例如以下双

2021-12-10 10:22:14 744

原创 Apache Kyuubi:灵活运用引擎隔离共享,加速即席查询,支持大规模 ETL

为了能让 Kyuubi可以更好的满足诸如 ETL、BI 报表等多种大数据场景的应用,从 Kyuubi v1.0.0 版本开始,我们引入了 Kyuubi 引擎共享级别这个概念,来对执行侧进行不同粒度的隔离和共享,这个功能在多次版本的迭代过程中不断被优化和完善。

2021-11-25 09:45:53 2626

原创 Hadoop Meetup 2021 回顾 - Apache Kyuubi 助力 CDH 解锁 Spark SQL

Apache Kyuubi(Incubating)(下文简称Kyuubi)是⼀个构建在Spark SQL之上的企业级JDBC网关,兼容HiveServer2通信协议,提供高可用、多租户能力。Kyuubi 具有可扩展的架构设计,社区正在努力使其能够支持更多通信协议(如 RESTful、 MySQL)和计算引擎(如Flink)。Kyuubi的愿景是让大数据平民化。一个的典型使用场景是替换HiveServer2,帮助企业把HiveQL迁移到Spark SQL,轻松获得10~100倍性能提升(具体提升幅度与SQ

2021-11-17 11:27:48 1355

原创 2021网易可视化大赛冠军作品创意分享

编者按:一年一度的网易可视化大赛落下帷幕,参赛选手们凭借出彩的可视化作品,呈现了一个个精彩的数据故事。我们有幸邀请到本次大赛一等奖获得者——徐新宇同学,为大家现身讲述作品背后的创作思路与心得收获。大家好,我叫徐新宇,是一名科技公司的前端技术主管。很高兴有机会参与本届网易可视化大赛,并获得名次。我提交的作品是《浙江省高速数智报告》,当初拿到组委会提供的行业模板数据时,我就特意选择了交通行业数据,是因为和本职工作有些关联,在数据理解上会容易一些。我提交的作品是《浙江省高速数智报告》,当初拿到.

2021-11-12 11:53:26 1246

原创 COSCon‘21 精彩回顾 | Apache Kyuubi 在 T3 出行的深度实践

支撑了80%的离线作业,日作业量在1W+ 大多数场景比 Hive 性能提升了3-6倍 多租户、并发的场景更加高效稳定 T3出行是一家基于车联网驱动的智慧出行平台,拥有海量且丰富的数据源。因为车联网数据的多样性,T3出行构建了以 Apache Hudi 为基础的企业级数据湖,提供强有力的业务支撑。而对于负责数据价值挖掘的终端用户而言,平台的技术门槛是另一种挑战。如果能将平台的能力统合,并不断地优化和迭代,让用户能够通过 JDBC 和 SQL 这种最普遍最通用的技术来使用,数据生产力..

2021-11-12 09:57:33 1740

原创 KubeDiag 框架技术解析

KubeDiag 是基于 Kubernetes 云原生基础设施能力打造的开源框架,旨在解决云原生体系中运维诊断的自动化问题,帮助用户更加平滑地完成容器化落地。本文将为大家解读 KubeDiag 整体框架设计。Kubernetes 是一个生产级的容器编排引擎,但是 Kubernetes 仍然存在系统复杂、故障诊断成本高等问题。网易数帆近期开源的 KubeDiag,是基于 Kubernetes 云原生基础设施能力打造的框架,旨在解决云原生体系中故障诊断、运维恢复的自动化问题。主要包括以下几个维度:由.

2021-11-11 12:18:06 579

原创 开源 | KubeDiag 框架技术解析

KubeDiag 是基于 Kubernetes 云原生基础设施能力打造的开源框架,旨在解决云原生体系中运维诊断的自动化问题,帮助用户更加平滑地完成容器化落地。本文将为大家解读 KubeDi...

2021-11-10 16:02:19 176

原创 网易汪源:我们怎么做开源

本文作者:汪源,网易副总裁,网易杭州研究院执行院长,网易数帆总经理原载:公众号“冷技术热思考”网易数帆开源全景图今年数字+大会上我们第一次比较系统的推出了我们的开源计划(sf.163.com/opensource),将“架构开放、内核开源”作为我们的核心战略,尽可能的减少客户绑定,引起媒体的广泛关注。媒体经常会问我们开源怎么赚钱,一些同事也问过我同样的问题。网易数帆是一家商业化组织,为什么要做开源,而且还把项目捐赠给基金会(今年我们把Kyuubi项目捐赠给了Apache基金会),放

2021-11-10 15:24:46 344

原创 分布式存储防误删:CephFS 回收站实践

一、背景《机器学习平台统一化分布式存储Ceph的进阶优化》一文提及,网易云音乐常将 CephFS 用于AI训练的共享存储,通过 Kubernetes 调用创建 PV/PVC 对接 Ceph...

2021-11-04 17:33:33 605

原创 开源 | 深入解读 KubeCube 多集群管理

KubeCube (https://kubecube.io) 是由网易数帆近期开源的一个轻量化的企业级容器平台,为企业提供 kubernetes 资源可视化管理以及统一的多集群多租户管理等...

2021-10-28 18:04:40 1545

原创 网易数帆基于 Envoy 的云原生网关实践

本文根据 InfoQ 公开课《如何基于开源Envoy,构建高性能云原生微服务网关》整理,有删减。简介:Envoy 是由 Lyft 开源的高性能网络代理软件。相比于 Nginx、HAProx...

2021-10-20 18:41:17 257

原创 机器学习平台统一化分布式存储Ceph的进阶优化

自网易云音乐机器学习平台上线以来,承担着音乐内部推荐、搜索、直播、社交、算法工程等各个业务团队机器学习场景的需求, 这其中也遇到了很大的挑战,尤其是在分布式存储这块上,花费大量时间、精力,...

2021-10-12 17:39:20 1480

原创 开源 | KubeCube 多级租户模型

KubeCube (https://kubecube.io) 是由网易数帆近期开源的一个轻量化的企业级容器平台,为企业提供 kubernetes 资源可视化管理以及统一的多集群多租户管理功...

2021-09-23 17:38:39 1994

原创 云原生API网关 - 开源项目Hango网关设计与实践

解读开源Hango网关的云原生设计与实践,本文先从云原生溯源,解读云原生API网关选型特点;再进一步解读网易数帆开源Hango云原生API网关设计及大规模落地实践。云原生溯源什么是云原生C...

2021-09-09 12:37:33 1213

原创 Hango 开源解读:云原生网关实践,为何要选择 Envoy ?

进入云原生时代,行业用户除了需要 API 网关提供请求代理、熔断限流、审计监控等常规能力外,更多的开始关注云原生兼容性(容器、服务网格等),支撑场景的多样性(七层负载均衡、Ingress、Serverless 网关等),以及更好的性能稳定性。本文从网易数帆开源云原生 API 网关 Hango 的选型入手,对云原生网关选型为何选择 Envoy 进行了较为全面的解读。

2021-09-07 18:05:03 392

原创 KubeCube 开源:魔方六面,降阶 Kubernetes 落地应用

容器技术发展至今,各行各业对其所带来的好处,如多环境交付一致性、弹性伸缩、故障自愈等,已经达成普遍共识。这些好处的实现,依赖于当前容器编排领域的事实标准——Kubernetes平台。然而,...

2021-08-25 12:14:35 760

原创 网易数帆对 CIlium 容器网络的探索和实践

本文会深入介绍 Cilium,并澄清一些认知误区,然后给出网易数帆轻舟云原生团队是如何使用 Cilium 的。目前国内这方面深入解析材料较少,如果您也正在探究,希望这篇文章能给您带来帮助。

2021-07-30 10:19:25 599

原创 Ceph性能瓶颈分析与优化(混合盘篇)

背景企业级存储中,SSD+HDD的混合盘是一种典型应用场景,可以兼顾成本、性能与容量。但网易数帆存储团队经过测试(4k随机写)发现,加了NVMe SSD做Ceph的WAL和DB后,性能提升不足一倍且NVMe盘性能余量较大。所以我们希望通过瓶颈分析,探讨能够进一步提升性能的优化方案。测试环境Ceph性能分析一般先用单OSD来分析,这样可以屏蔽很多方面的干扰。 我们的测试环境如下所示,1个OSD:usrname@hostname:~/cluster$ sudo ceph osd treeID CLA

2021-07-14 12:21:41 1878 2

网易数据产品实践@网易数帆技术沙龙.pdf

顾平 |《网易数据产品实践》@网易数帆技术沙龙 议题介绍:网易互联网业务正走向“数据中台支撑+数据产品驱动”的双引擎模式,释放数据价值以支持创新业务的探索,本议题将结合网易严选的业务实践,分享覆盖营销和供应链的数据产品体系建设思路与步骤,并介绍作为支撑的数据中台及数据治理的相关经验。 嘉宾简介:顾平,网易数帆大数据产品专家,7年大数据从业经验,2017年至2020年就职于网易严选,担任数据产品负责人,从0到1构建了网易严选的数据产品体系和数据中台体系。目前就职于网易数帆,担任网易有数·BI产品负责人。

2021-06-24

网易云音乐数仓建设之路@网易数帆技术沙龙.pdf

雷剑波 | 《网易云音乐数仓建设之路》@网易数帆技术沙龙 议题介绍:随着业务的发展,各部门对数据的需求日益强烈,网易云音乐希望通过统一的数仓体系建设来降低数据使用门槛,提升决策利用效果,并实现数据驱动业务增长,本议题将从流量数据治理和数据资产沉淀两方面,分享网易云音乐应对挑战的实践和思考,以及取得的成果。 嘉宾简介:雷剑波,网易云音乐数据专家,长期从事大数据开发、数仓体系建设,聚焦模型设计、数据规范、数据应用、数据治理等方向。目前主要负责网易云音乐主App的数仓体系架构和数据埋点体系升级等工作。

2021-06-24

利用Intel Optane PMEM技术加速大数据分析.pdf

徐铖 | 《利用Intel Optane PMEM技术加速大数据分析》 议题介绍:分享如何使用Intel开源项目Optimized Analytics Package (OAP)加速Spark、Flink的性能,介绍现有Spark框架在内存管理、Shuffle实现等层面性能有进一步提升的空间,以及如何更好利用新硬件,比如利用Intel Optane PMEM(持久化内存)技术上,Spark有诸多进一步优化的功能点。 嘉宾简介:徐铖,Intel资深软件开发工程经理,现供职于Intel上海研发有限公司,现主要专注于大数据领域中基于英特尔平台技术进行优化。在这之前从事过Intel Hadoop发行版的核心开发以及相应大数据领域的社区工作,是Apache Commons/ORC/Hive的Committer也是Spark的Contributor,同时也是《持久内存架构与工程实践》的作者之一。

2021-06-24

ClickHouse在有赞的使用和优化.pdf

陈琦 | 《ClickHouse在有赞的使用和优化》@网易数帆技术沙龙 议题介绍:ClickHouse在有赞的发展,平台化建设,DMP,SCRM,CDP等场景落地和优化。千亿级别数据量的离线读写分离,解决写多读少的业务发展问题。自研新数据库的探索POC,尝试去融合Doris和ClickHouse。 嘉宾简介:陈琦,有赞基础架构组OLAP负责人,十年以上工作经验。ClickHouse,Druid,Presto,Flink等项目Contributor。目前在有赞负责OLAP平台和组件优化等相关工作。

2021-06-24

Kyuubi:开源企业级Serverless Spark框架.pdf

姚琴 | 《Kyuubi:开源企业级Serverless Spark框架》@网易数帆技术沙龙 议题:网易集团每日有数十万 Spark 类型的任务,这给服务端的运维及调优带来了巨大挑战。为支持业务避开底层技术和框架选型,直接享受到前沿技术,网易数帆开发了企业级 Serverless Spark 和数据湖探索框架Kyuubi,并将其开源。 嘉宾:姚琴,网易数帆大数据专家,Apache Spark Committer / Apache Submarine Committer。

2021-06-24

网易数帆开源分布式存储Curve监控、运维与质量体系.pdf

介绍Curve使用的一些监控和运维方案以及质量控制方法。 - 监控体系总体介绍。 - 前端展示,结合例子展示怎样通过Grafana完成数据可视化。 - 后端监控架构,监控体系架构及各个组件之间的联系。 - Curve metric介绍,在Curve中怎样统计metric,使用了哪些类型的metric等。 - 运维管理,包括Curve上架标准,运维规范,应急预案等。 - 运维工具,包括curve-ansible部署工具,curve_ops_tool管理员工具等。 - 日志管理,ELK日志平台展示。 - 质量控制理论体系,Curve的单元测试,集成测试和系统测试方法。 - Curve流程控制。

2020-12-13

网易数帆开源分布式存储Curve快照克隆子系统SnapshotClone.pdf

介绍Curve快照克隆服务器,包括: 快照克隆服务器整体架构。 Curve快照和克隆的特点。 快照总体流程介绍,从用户触发快照开始,介绍每个阶段的流程。 介绍ChunKServer端的快照机制,包括snap chunk的数据组织以及写时复制机制的实现。 克隆总体流程介绍,从用户触发克隆卷开始,介绍每个阶段的流程。 介绍ChunkServer端的克隆机制,包括clone chunk的数据组织与读时复制机制的实现。

2020-12-13

网易数帆开源分布式存储Curve核心组件之ChunkServer数据节点.pdf

介绍Curve的数据节点ChunkServer,包括: - ChunkServer整体架构,自顶向下介绍每个模块的功能。 - ChunkServer的注册和心跳。 - CopysetNode,介绍ChunkServer中的Copyset实例工作流程,与braft交互的方式(建议提前了解一下raft一致性协议)。 - DataStore模块,介绍ChunkServer中底层Chunk文件组织形式,ChunkFilePool介绍等。 - 新版本ChunkServer性能优化,介绍通过覆盖写减少WAL写放大的方案以及优化后的测试结果。

2020-12-13

Curve核心组件之MDS元数据节点-陈威-网易数帆.pdf

介绍Curve的元数据节点MDS,包括: MDS总体介绍。 Topology模块,包括MDS管理的Curve拓扑结构,故障隔离等。 NameServer,用于保存Curve中文件和目录的层级结构以及分配信息等元数据。 Copyset,介绍Curve中Chunk的副本管理方式,Copyset的概念,生成方式,与Chunk和ChunkServer的关系等。 HeartBeat模块,介绍MDS如何通过心跳管理ChunkServer的在线状态,各个状态之间的转换方式等。 调度模块Scheduler,介绍MDS如何通过调度实现系统的自动容错和负载均衡。

2020-12-13

Curve:新一代分布式存储系统设计要点

对网易数帆开源的新一代分布式存储Curve做一个总体的介绍,包括: Curve出现的背景,为什么不基于已有的存储改造或直接使用已有存储,而是从0到1开发Curve。 Curve的总体设计,主要介绍软件基本架构,数据的组织形式,拓扑结构,以及总体的IO流程,其中IO的细节将在后面的系列讲座中介绍。 Curve的系统特性,主要介绍Curve在高性能(包括当前最新版本v1.1.0-beta的测试数据)、高可用、自治、易运维、高质量这几个方面是如何体现的以及它们的一些关键实现方式。 最后会说明下Curve的近期规划,期待感兴趣的小伙伴加入我们。

2020-11-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除