分布式存储
文章平均质量分 95
记录后台分布式存储各种理论和实现。
Victor Fung
主要涉及分布式中间件、分布式存储、数据库、linux内核、编译器。。。
展开
-
DPDK之eventdev_pipeline源码解析
注:当调用rte_event_eth_rx_adapter_queue_add时,设置struct rte_event_eth_rx_adapter_queue_conf.rx_queue_flags参数带有RTE_EVENT_ETH_RX_ADAPTER_QUEUE_EVENT_VECTOR标志,那么WORD1就是vec;只要有一个网卡设备不具备RTE_EVENT_ETH_TX_ADAPTER_CAP_INTERNAL_PORT能力,那么就需要采用generic实现,该实现发送数据由上述的软件方式实现。原创 2023-10-18 20:05:23 · 528 阅读 · 0 评论 -
DPDK之l3fwd-power源码解析
app_mode运行模式,有五种运行模式:APP_MODE_LEGACY、APP_MODE_EMPTY_POLL、APP_MODE_TELEMETRY、APP_MODE_INTERRUPT、APP_MODE_PMD_MGMThp_lcores支持睿频的CPU核ID数组,数组长度为nb_hp_lcores;指向struct lcore_params数组,数组每项表示网卡号为port_id的接收队列号queue_id由核lcore_id处理lcore_conf。原创 2023-05-17 21:16:31 · 1178 阅读 · 1 评论 -
DPDK之l2fwd源码解析
表示开启的eth网卡。例如port为N的网卡若开启,l2fwd_enabled_port_mask从低到高第N位置1,否则置0;表示转发目的网卡的port。例如port为N的网卡的转发目的网卡port为l2fwd_dst_ports[N]表示相互转发的两个网卡的信息。例如M与N是相互转发的两个网卡的port号,那么它们的第0位不同,其他位相同。满足:M >> 1 等于 N >> 1。原创 2023-04-06 20:33:23 · 1247 阅读 · 0 评论 -
存储相关概要–分布式存储要点分析
分布式存储要点分析引言1 宏观架构2 监控中心2.1 Pull状态2.2 Observe状态2.3 Work状态2.3.1 节点竞选2.3.2 写数据流程2.3.3 数据修复2.3.4 节点替换3 虚拟节点3.1 数据写入3.2 数据迁移3.3 扩展节点3.4 收缩节点4 物理节点引言分布式存储和分布式计算是云计算的基石,分布式计算以AP为主、而分布式存储则以CP为主。前者一方面是特定场景不需要太高的一致性,另一方面即便是需要高一致性、也借助持久化层去实现高一致性,所以分布式计算设计考虑更多以AP为主;原创 2021-03-21 18:39:17 · 4066 阅读 · 4 评论 -
存储相关概要–BigTable设计原理
BigTable设计原理引言1 设计概述2 核心流程3 思考总结引言1 设计概述2 核心流程3 思考总结原创 2021-02-03 14:20:07 · 1896 阅读 · 1 评论 -
分布式技术栈–Raft算法理论与应用
Raft算法理论与应用引言1 原理1.1 算法过程1.2 美中不足1.3 再度升华2 应用引言在分布式系统中,为了满足分区容错,即当某个节点宕机、还能正常服务且数据不丢失。常常采用多节点备份,然后在多个节点选择一个主节点提供读写操作,其他节点只提供读取操作。Raft算法便是一种比较普遍的主节点竞选算法。1 原理算法中节点有三个状态:leader、follower和candidate。leader是节点被选为主节点状态、follower是节点作为从节点的状态、candidate是主节点失联后竞选自己为原创 2021-01-31 22:41:05 · 1953 阅读 · 0 评论 -
分布式技术栈–Paxos算法理论与应用
Paxos算法理论与应用实践引言1 原理1.1 Basic Paxos算法1.1.1 算法过程1.1.2 美中不足1.2 Multi Paxos算法1.2.1 算法思想1.2.2 再度升华2 应用2.1 无中心多节点备份2.1.1 数据操作算法2.1.2 节点加入/移除2.1.3 运维事项引言Paxos算法是著名的分布式强一致性算法。它是基于消息传递且具有高度容错特性的一致性算法,是目前公认的解决分布式一致性问题最有效的算法之一。1 原理Paxos算法解决各个节点如何就某个值或操作达成一致,这个过程原创 2021-01-31 22:40:39 · 1040 阅读 · 0 评论 -
分布式技术栈–CAP理想到BASE现实
CAP理想到BASE现实引言引言原创 2021-01-31 22:39:09 · 224 阅读 · 0 评论