• 博客(33)
  • 资源 (1)
  • 收藏
  • 关注

原创 Raft算法在Curve中的实践

Curve作为高性能、高可用、高可靠的新一代分布式存储系统,对于多副本数据同步,负载均衡,容灾恢复方面都有较高的要求。Curve选用Raft算法作为底层一致性协议,并基于Raft的特性,实现了异常情况下的数据迁移和自动恢复。下面首先简要介绍一下Raft算法的一些基本概念和术语,再详细介绍其在Curve中的实践。Raft一致性算法介绍Raft算法中,有Leader,Follower,Candidate三种角色,它们之间的转换关系如下图:在同一时刻,只能有一个Leader,当选Leader.

2020-11-23 20:27:55 550

原创 Curve技术解析之MDS元数据管理

curve简介curve是今年7月份开源的一个⾼性能、⾼可⽤、⾼可靠的分布式存储系统,主打⾼性能、低延迟。Curve设计可以作为多种存储场景的底层存储:例如块存储,对象存储,云原⽣数据库,EC等。当前Curve已实现⾼性能块存储,并且基于这⼀场景对接了openstack 和 k8s。openstack上主要是⽤作云主机的系统盘和云盘,⽬前已经在线上稳定一年多了。k8s上主要是想作为计算节点的数据⽬录,这个场景⽬前在灰度环境中测试验证中。当前curve的整个项目已经完全开源到github,感兴

2020-11-18 20:52:03 1341

原创 分布式存储开发:Curve中的内存管理

前言Curve 实践过程中遇到过几次内存相关的问题,与操作系统内存管理相关的是以下两次:chunkserver 上内存无法释放 mds 出现内存缓慢增长的现象内存问题在开发阶段大多很难发现,测试阶段大压力稳定性测试(持续跑7*24小时以上)、异常测试往往比较容易出问题,当然这还需要我们在测试阶段足够仔细,除了关注io相关指标外,还要关注服务端内存/CPU/网卡等资源使用情况以及采集的 metric 是否符合预期。比如上述问题 mds 内存缓慢增长 ,如果只关注io是否正常,在测试阶段是无法发现的

2020-11-13 18:53:56 1612

原创 从数据中台到全链路数据生产力

作者:汪源,网易副总裁,网易杭州研究院执行院长,网易数帆总经理首发:冷技术热思考近两个月前的数字+大会上,我们向业界发布网易易数全链路数据生产力平台。有必要再阐释一下什么叫全链路数据生产力平台,它跟其他的很多数据领域的技术如数据中台、BI等是什么关系。一、全链路数据生产力1979年,老邓画了一个圈,造就的一个信奉生产力的时代。虽然不排除某些企业逼格高,无视生产力,绝大部分企业都是想要生产力的。企业的生产力,有一部分来自于数据生产力;数字时代企业的生产力,大部分来自于数据生产力。数据生

2020-11-12 18:15:35 3813

转载 【讲稿】Impala在网易大数据中使用和优化实践-P2

本文是在2020 DataFunCon上所做分享的讲稿,感谢DataFun团队整理。由于篇幅较长,分为2篇来记录,这是第二篇。上文:【讲稿】Impala在网易大数据中使用和优化实践-P13.基于ZK的服务高可用虽然每一个Impalad都可以作为Coordinator,对外提供访问服务,接受客户端请求,但是缺乏一个路由机制。当一个client连接的特定coordinator失效之后,就无法在进行查询了。网易大数据团队参考Hive的实现,引入zookeeper作为访问代理,客户端首先通过zo

2020-11-12 12:24:40 189

转载 【讲稿】Impala在网易大数据中使用和优化实践-P1

网易大数据平台的底层数据查询引擎,选用了Impala作为OLAP查询引擎,不但支撑了网易大数据的交互式查询与自助分析,还为外部客户提供了商业化的产品与服务。今天分享的Impala在网易大数据中的的优化和实践,主要分为三个部分:Impala的定位及其优势对Impala的一些增强和优化Impala在网易的使用案例分析

2020-11-03 17:33:56 257

转载 网易严选数据产品实践

数据产品是个新兴的产品分类,每个人眼里都有一个自己的数据产品,尽管在绝大部分人的概念中都是一堆报表。在过去的3年里,网易严选技术团队在用户需求的推动下,也借助了网易易数的产品,一步步构建了网易严选数据产品体系,下文分享在构建过程中自己的一些思考和总结。背景本文内容来自我在2020产品经理大会上《网易严选数据产品实践与方法论》分享的文字总结,由于篇幅原因,只包含了实践部分。数据产品是个新兴的产品分类,每个人眼里都有一个自己的数据产品,尽管在绝大部分人的概念中都是一堆报表。在过去的3...

2020-10-30 10:40:25 246 1

原创 网易/美团/PingCAP/贝壳/爱奇艺大咖分享:云原生如何加速行业创新发展(附PPT下载)

来自网易轻舟、网易传媒、美团点评、PingCAP、贝壳金服和爱奇艺等团队的一线技术专家,分享了云原生相关技术在不同行业和领域的实践,不仅验证了云原生对于各行业发展的价值,也展现了实现云原生的可行技术路线,为企业应用云原生架构推进数字化转型提供了丰富的行业范例

2020-10-30 10:22:56 1360 1

原创 【系列公开课】Curve核心团队深度解读:如何打造新一代超高性能分布式存储系统

7月16日,网易数帆宣布开源性能1.84倍于Ceph的新一代高性能分布式存储系统Curve,3个多月低调开发时间过去之后,Curve项目又成熟了不少。那么,Curve又有哪些新的技术进展?Curve独特的核心架构设计如何实现?其远超其他开源存储的性能优化是怎么做到的?未来Curve社区将会如何发展?接下来的1个多月,Curve核心开发团队将带来精心准备的Curve 新一代分布式存储技术系列公开课(直播+回放),每周五晚为大家揭开Curve技术的奥妙及Curve社区的规划,敬请关注!课程概述Cur

2020-10-28 17:52:58 1559 1

原创 【活动】1024,网易北京园区,Service Mesh Workshop 限量报名!

10月24日,由网易数帆主办的网易数字+云原生论坛暨 SDI^2 技术沙龙·Service Mesh Workshop 将在网易北京园区举办。本次活动以“玩转云原生,拥抱数字化”为主题,将围绕行业数字化转型最新趋势,研商新型数字技术发展方向和应用前景,深入分享不同企业的技术实践。下午的行业实践专场将邀请网易传媒、美团点评、贝壳金服、PingCAP 和爱奇艺等团队大咖围绕Service Mesh、服务治理、API网关等话题,分享业界微服务最佳实践。同期举行的Service Mesh 主题 Worksh

2020-10-16 11:49:27 214

原创 【解构云原生】K8s踩坑:Ingress四层负载均衡端口不可乱配

背景知识ingress原生是仅支持七层负载均衡(基于路径)的,其中ingress-nginx通过configmap的方式也能做到四层(基于端口)的负载均衡。在ingress-nginx0.21.0版本中,作者原计划要移除对四层负载均衡的支持,参看PR#3197,原因主要有以下几点:ingress的语义,原本就是仅支持7层负载均衡的,用它来实现四层负载均衡会显得很诡异 四层的负载均衡有其他的解决方案,没必要通过ingress来实现。提到的是使用metallb替代,即创建loadbalancer.

2020-10-10 14:43:56 1570 1

原创 【活动报名】1024,一起过节,一起品网易/美团/贝壳/PingCAP/爱奇艺云原生实践干货!

本次活动由网易数帆主办,以“玩转云原生,拥抱数字化”为主题,邀请网易传媒、美团点评、贝壳金服和 PingCAP 等团队大咖及各领域数字实践者,共同探讨行业数字化转型最新趋势,研商新型数字技术发展方向和应用前景,深入分享不同企业的技术实践,并通过 Service Mesh 主题 Workshop,让与会者直观体验云原生技术栈对数字业务研发效能带来的新价值。

2020-10-10 11:53:47 1331 1

原创 网易数据库运维平台化之路--管理精细化

网易DBA团队同时运维众多不同类型的数据库环境,面临的问题是既要保障数据库运维的高效可靠一致,又要针对每一种数据库进行定制的精细化管理。针对这个问题我们给出的解决之道就是构建一个开放式的数据库运维平台OWL:一方面将通用的操作流程标准化、自动化;另一方面将个性化的配置与流程做成模版与插件脚本。根据这一基本指导思想,可以逐步在数据库管理上既实现了高效自动化的基础需求,又保障了灵活性个性化,最终达到精细化管理的目标。

2020-09-25 18:23:56 1345

转载 网易严选打造数仓规范和评价体系实践

本次邀请了有多年数据领域工作经验,专注数据架构、模型设计和规范执行落地的专家,从概念-平台-规范的链路来介绍:借助网易数帆旗下的全链路数据生产力平台——网易易数,严选是如何建立数据仓库和评价体系的。

2020-09-25 11:33:59 263

原创 【解构云原生】K8s 的 RBAC - 基于角色的访问控制

基于角色的访问控制(Role-Based Access Control, 即“RBAC”)使用 “rbac.authorization.k8s.io” API Group 实现授权控制,用户可以通过 Kubernetes API 动态配置策略。

2020-09-25 11:15:25 2304

原创 Kubernetes 的 HPA 原理详解

1. HPA解决的问题HPA全称是 Horizontal Pod Autoscaler,也就是对k8s的workload的副本数进行自动水平扩缩容(scale)机制,也是k8s里使用需求最广泛的一种Autoscaler机制,在开始详细介绍HPA之前,先简单梳理下k8s autoscale的整个大背景。k8s被誉为新一代数据中心操作系统(DCOS),说到操作系统我们自然想到其定义:管理计算机的软硬件资源的系统,k8s也一样其核心工作也是管理整个集群的计算资源,并按需合理分配给系统里的程序(以Pod为基础的

2020-09-15 12:00:44 1310

转载 从Kong到Envoy,网易严选网关架构演进之路

古语有云「一夫当关,万夫莫开」,网易严选网关除了提供丰富的功能满足业务多样性的需求之外,更重要的是保证稳定、可靠和高效,我们的架构演进也是围绕这一核心目标进行。这两年随着严选云原生架构的逐步落地,我们也实践通过拥抱云利用云来更好的保证网关的稳定性。网易严选自2016年诞生以来,不论从业务、技术还是体量,每年都在飞速发展。而作为严选对外服务的总入口,网关承接了主要的业务流量,保障着严选业务的稳定运行,并帮助业务进行更好的容灾和降级。随着服务化、容器化的演进,严选API网关也转变角色,作为严...

2020-09-14 10:52:43 300

原创 【杭研大咖说】Istio进入1.7版本,Service Mesh 落地还有什么障碍?

作者 | 冯常健编辑 | 田晓旭首发 | 架构头条2017 年,Google 联合 IBM、Lyft 推出了 Istio,因为有 K8s 的成功经验在先,Istio 一出生就引人注目,其受到的关注度甚至远超最早提出服务网格概念的 Linkerd。只要有关注度,就有溢价存在,业界为 Istio 买账更像是买一种预期,认为 Istio 能像 K8s 一样,快速成为服务网格领域的事实标准。当然,除了独特的出身优势,Istio 自身也品质过硬,有着非常漂亮的架构设计,着重解决了微服务间通信的连接、保

2020-09-10 19:43:48 1334

转载 网易实时数仓实践与展望

本文主要介绍网易的实时计算平台的建设实践以及网易对于实时数仓方面的一些规划及展望,希望能够起到抛砖引玉的作用。

2020-09-04 18:50:46 262

原创 低代码发展现状调研和思考

低代码发展现状的调研和思考、以及我们做低代码产品的原因

2020-09-03 17:33:31 1770

原创 网易轻舟基于K8s的业务混部署实践

网易轻舟基于K8s的业务混部署实践前言资源利用率现状和原因分析在/离线业务混部Kubernetes Native Feature混部系统设计Resource Reclaim动态调度动态资源分配和动态资源隔离离线业务重调度落地成果Redis+视频转码广告推荐+视频转码总结和展望参考文献导读: 服务器资源利用率较低,IT基础设施的总拥有成本(TCO)逐年上涨,一直是困扰很多企业的难题。随着云原生技术的发展,Kubernetes逐渐成为数据中心的一项基础设施

2020-08-28 15:12:44 1447

原创 数仓建模系列-数据体系搭建篇

本系列将持续更新数仓建模相关知识,将学习到的理论知识和工作实践结合起来,总结沉淀下来,积跬步成千里。作者:吴珍基本概念数据仓库概念由世界公认的数据仓库之父比尔·恩门(Bill Inmon)在1991年出版的“Building the Data Warehouse”(《建立数据仓库》)中提出:A data warehouse is a subject-oriented, integrated, nonvolatile, and time-variant collection of dat.

2020-08-28 14:52:29 363

原创 中间件业务在网易轻舟容器平台的性能调优实践

随着业务容器化的推进,经常有客户抱怨应用 QPS 无法和在物理机或者云主机上媲美,并且时常会出现 DNS 查询超时、短连接 TIME_OUT、网络丢包等问题,而在容器中进行调优与诊断的效果因为安装工具的复杂度大打折扣。本文基于网易轻舟中间件业务容器化实践,总结容器场景下的性能调优心得,供读者参考。

2020-08-28 14:30:17 1542

原创 eBPF 在网易轻舟云原生的应用实践

eBPF 是 Linux 内核近几年最为引人注目的特性之一,通过一个内核内置的字节码虚拟机,完成数据包过滤、调用栈跟踪、耗时统计、热点分析等等高级功能,是 Linux 系统和 Linux 应用的功能 / 性能分析利器。本文将介绍 eBPF 的技术特点,及 eBPF 在网易杭研轻舟系统探测和网络性能优化方面的应用。

2020-08-21 16:30:24 1530

原创 网易轻舟 Serverless 平台 Knative 性能调优实践

本文主要从性能角度,基于Serverless 前端使用场景对Knative 进行分析,尝试揭开Knative 核心数据路径性能真相并给出调优思考。

2020-08-21 16:22:12 1362

原创 Kubernetes踩坑:kubelet GC导致init containers不断重建

init container是run to completed类型的容器,如果数量太多,会被kubelet GC。而一旦被GC,kubelet又会重建该init container

2020-06-23 12:19:56 315

原创 直播预告:Envoy Core Maintainer 跨洋解读 Envoy 技术(中文)

活动背景一场突如其来的疫情加深了企业对数字化转型升级的渴望,作为新兴数字化业务的基础,云原生技术的价值日益凸显。当前,越来越多的企业逐步引入容器、微服务/Service Mesh 技术改造业务,实现数据库、PaaS 中间件的云原生化,探索 Serverless 的落地应用,以提升应用交付能力,促进业务创新,并提升资源利用率,降低开发运维成本;另一方面,云原生开源社区的核心框架也在不断迭代,使之更符合开发运维需求。网易杭研举办本次“问道一线专家,探秘云原生实践”系列在线技术沙龙活动,邀请 Envoy

2020-06-19 20:31:27 226

原创 如何从 Kubernetes 集群外访问集群内的容器服务

容器网络跟机房网络不在一个网络平面,一般不能互通,然则在混合环境中如何从 Kubernetes 集群外去访问 Kubernetes 集群里面的服务呢?本文将介绍该需求的多种实现方式。

2020-06-11 11:52:34 1475

原创 活动预告:美团、Envoy、网易杭研、微博大咖齐聚,多角度剖析云原生实践

网易杭研举办本次“问道一线专家,探秘云原生实践”系列在线技术沙龙活动,邀请 Envoy 社区 Core Maintainer 及网易杭研、美团、微博等知名互联网公司一线专家联袂分享,解读云原生技术演进趋势,介绍云原生落地应用的经验心得,实践过程中遇到的典型问题及解决之道。

2020-06-05 18:27:06 1324

原创 【大数据实践】网易杭研HBase集群G1GC节点FGC调优

网易杭研大数据技术团队为某业务解决HBase集群FGC的实践经验。

2020-05-29 17:45:54 1324

原创 以业务为核心的云原生体系建设(下)

本文转载自【刘超的通俗云计算】公众号,作者刘超,网易杭州研究院云计算架构师上文:以业务为核心的云原生体系建设(上)以业务为核心的云原生体系建设(中)5、云原生体系演进阶段三:探索互联网模式,优化产品体验上一节的最后,我们讲了阶段二可能面临的问题,如果公司想探索互联网模式,就会遇到这些问题。其实互联网模式并不是每家企业都需要经过的阶段,但是是很多传统企业头部公司乐意探索的方向,例如工业企业有工业互联网,零售行业有新零售,金融行业有互联网金融等。互联网模式的特点有一种误区认为互联

2020-05-26 18:19:14 1358

原创 以业务为核心的云原生体系建设(中)

本文将企业的架构进行全方面的梳理,并给出云原生体系建设总图,这个图当然不是一蹴而就就能建设完毕的,而是根据业务需求不断迭代演进出来的,但是我们要知道目标在哪里。

2020-05-22 18:28:07 1625

原创 以业务为核心的云原生体系建设(上)

本文将企业的架构进行全方面的梳理,并给出云原生体系建设总图,这个图当然不是一蹴而就就能建设完毕的,而是根据业务需求不断迭代演进出来的,但是我们要知道目标在哪里。

2020-05-21 12:19:40 1557

Curve:新一代分布式存储系统设计要点|Curve:新一代分布式存储系统设计要点-李小翠-网易数帆.pdf

对网易数帆开源的新一代分布式存储Curve做一个总体的介绍,包括: Curve出现的背景,为什么不基于已有的存储改造或直接使用已有存储,而是从0到1开发Curve。 Curve的总体设计,主要介绍软件基本架构,数据的组织形式,拓扑结构,以及总体的IO流程,其中IO的细节将在后面的系列讲座中介绍。 Curve的系统特性,主要介绍Curve在高性能(包括当前最新版本v1.1.0-beta的测试数据)、高可用、自治、易运维、高质量这几个方面是如何体现的以及它们的一些关键实现方式。 最后会说明下Curve的近期规划,期待感兴趣的小伙伴加入我们。

2020-11-23

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除