NetEaseResearch的博客

顾平 |《网易数据产品实践》@网易数帆技术沙龙 议题介绍：网易互联网业务正走向“数据中台支撑+数据产品驱动”的双引擎模式，释放数据价值以支持创新业务的探索，本议题将结合网易严选的业务实践，分享覆盖营销和供应链的数据产品体系建设思路与步骤，并介绍作为支撑的数据中台及数据治理的相关经验。 嘉宾简介：顾平，网易数帆大数据产品专家，7年大数据从业经验，2017年至2020年就职于网易严选，担任数据产品负责人，从0到1构建了网易严选的数据产品体系和数据中台体系。目前就职于网易数帆，担任网易有数·BI产品负责人。

雷剑波 | 《网易云音乐数仓建设之路》@网易数帆技术沙龙 议题介绍：随着业务的发展，各部门对数据的需求日益强烈，网易云音乐希望通过统一的数仓体系建设来降低数据使用门槛，提升决策利用效果，并实现数据驱动业务增长，本议题将从流量数据治理和数据资产沉淀两方面，分享网易云音乐应对挑战的实践和思考，以及取得的成果。 嘉宾简介：雷剑波，网易云音乐数据专家，长期从事大数据开发、数仓体系建设，聚焦模型设计、数据规范、数据应用、数据治理等方向。目前主要负责网易云音乐主App的数仓体系架构和数据埋点体系升级等工作。

徐铖 | 《利用Intel Optane PMEM技术加速大数据分析》 议题介绍：分享如何使用Intel开源项目Optimized Analytics Package (OAP)加速Spark、Flink的性能，介绍现有Spark框架在内存管理、Shuffle实现等层面性能有进一步提升的空间，以及如何更好利用新硬件，比如利用Intel Optane PMEM（持久化内存）技术上，Spark有诸多进一步优化的功能点。 嘉宾简介：徐铖，Intel资深软件开发工程经理，现供职于Intel上海研发有限公司，现主要专注于大数据领域中基于英特尔平台技术进行优化。在这之前从事过Intel Hadoop发行版的核心开发以及相应大数据领域的社区工作，是Apache Commons/ORC/Hive的Committer也是Spark的Contributor，同时也是《持久内存架构与工程实践》的作者之一。

陈琦 | 《ClickHouse在有赞的使用和优化》@网易数帆技术沙龙 议题介绍：ClickHouse在有赞的发展，平台化建设，DMP，SCRM，CDP等场景落地和优化。千亿级别数据量的离线读写分离，解决写多读少的业务发展问题。自研新数据库的探索POC，尝试去融合Doris和ClickHouse。 嘉宾简介：陈琦，有赞基础架构组OLAP负责人，十年以上工作经验。ClickHouse，Druid，Presto，Flink等项目Contributor。目前在有赞负责OLAP平台和组件优化等相关工作。

姚琴 | 《Kyuubi：开源企业级Serverless Spark框架》@网易数帆技术沙龙 议题：网易集团每日有数十万 Spark 类型的任务，这给服务端的运维及调优带来了巨大挑战。为支持业务避开底层技术和框架选型，直接享受到前沿技术，网易数帆开发了企业级 Serverless Spark 和数据湖探索框架Kyuubi，并将其开源。 嘉宾：姚琴，网易数帆大数据专家，Apache Spark Committer / Apache Submarine Committer。

介绍Curve使用的一些监控和运维方案以及质量控制方法。 - 监控体系总体介绍。 - 前端展示，结合例子展示怎样通过Grafana完成数据可视化。 - 后端监控架构，监控体系架构及各个组件之间的联系。 - Curve metric介绍，在Curve中怎样统计metric，使用了哪些类型的metric等。 - 运维管理，包括Curve上架标准，运维规范，应急预案等。 - 运维工具，包括curve-ansible部署工具，curve_ops_tool管理员工具等。 - 日志管理，ELK日志平台展示。 - 质量控制理论体系，Curve的单元测试，集成测试和系统测试方法。 - Curve流程控制。

介绍Curve快照克隆服务器，包括： 快照克隆服务器整体架构。 Curve快照和克隆的特点。 快照总体流程介绍，从用户触发快照开始，介绍每个阶段的流程。 介绍ChunKServer端的快照机制，包括snap chunk的数据组织以及写时复制机制的实现。 克隆总体流程介绍，从用户触发克隆卷开始，介绍每个阶段的流程。 介绍ChunkServer端的克隆机制，包括clone chunk的数据组织与读时复制机制的实现。

介绍Curve的数据节点ChunkServer，包括： - ChunkServer整体架构，自顶向下介绍每个模块的功能。 - ChunkServer的注册和心跳。 - CopysetNode，介绍ChunkServer中的Copyset实例工作流程，与braft交互的方式（建议提前了解一下raft一致性协议）。 - DataStore模块，介绍ChunkServer中底层Chunk文件组织形式，ChunkFilePool介绍等。 - 新版本ChunkServer性能优化，介绍通过覆盖写减少WAL写放大的方案以及优化后的测试结果。

介绍Curve的元数据节点MDS，包括： MDS总体介绍。 Topology模块，包括MDS管理的Curve拓扑结构，故障隔离等。 NameServer，用于保存Curve中文件和目录的层级结构以及分配信息等元数据。 Copyset，介绍Curve中Chunk的副本管理方式，Copyset的概念，生成方式，与Chunk和ChunkServer的关系等。 HeartBeat模块，介绍MDS如何通过心跳管理ChunkServer的在线状态，各个状态之间的转换方式等。 调度模块Scheduler，介绍MDS如何通过调度实现系统的自动容错和负载均衡。

对网易数帆开源的新一代分布式存储Curve做一个总体的介绍，包括： Curve出现的背景，为什么不基于已有的存储改造或直接使用已有存储，而是从0到1开发Curve。 Curve的总体设计，主要介绍软件基本架构，数据的组织形式，拓扑结构，以及总体的IO流程，其中IO的细节将在后面的系列讲座中介绍。 Curve的系统特性，主要介绍Curve在高性能(包括当前最新版本v1.1.0-beta的测试数据)、高可用、自治、易运维、高质量这几个方面是如何体现的以及它们的一些关键实现方式。 最后会说明下Curve的近期规划，期待感兴趣的小伙伴加入我们。