- 博客(39)
- 资源 (17)
- 收藏
- 关注
转载 阿里云(飞天)里的 盘古
转载:盘古:阿里云飞天分布式存储系统设计深度解析 盘古是什么?上图列举了目前主流的云计算厂商,我们发现一个很有趣的事情:所有云计算厂商都是“富二代”,它们的分布式存储技术全部采用自研技术,而没有用大家耳熟能详的开源分布式系统。飞天梦第一代飞天人的梦想是在大量廉价的PC服务器上,对外提供各种计算和存储服务。具体到以下几个组件:夸父,主要负责网络;女娲,主要负责协同;伏羲,主...
2019-05-31 11:58:53 7854
原创 一路走好MapReduce
1. 去年国庆期间(Oct. 2018)Cloudera和Hortonworks宣布合并:对Hadoop的一记重创!大数据领域的两大巨头公司Cloudera和Hortonworks宣布平等合并,Cloudera以股票方式收购Hortonworks,Cloudera股东最终获得合并公司60%的股份。 这笔交易意味着Hadoop市场再也无法维持两大竞争对手对峙的状态了。2. 昨天(May 29, ...
2019-05-30 14:25:23 209
转载 云计算、大数据和人工智能的由来和关系
转载:终于有人把云计算、大数据和人工智能讲明白了!由于原文里的私有/共有/混合云讲得不合理,本篇更正了。今天跟大家讲讲云计算、大数据和人工智能。为什么讲这三个东西呢?因为这三个东西现在非常火,并且它们之间好像互相有关系:一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计算……感觉三者之间相辅相成又不可分割。但如果是非技术的人员,就可能比较难理解这三者...
2019-05-30 10:23:01 1366
转载 2015年一些公司使用 Ceph 存储集群的情况
转载:我所了解的各公司使用的 Ceph 存储集群 (携程、乐视、有云、宝德云、联通等)首先这是一篇4年前的Ceph市场部分使用情况,给想对业务部署的筒子们了解下。Ceph 作为软件定义存储的代表之一,最近几年其发展势头很猛,也出现了不少公司在测试和生产系统中使用 Ceph 的案例,尽管与此同时许多人对它的抱怨也一直存在。本文试着整理作者了解到的一些使用案例。1. 携程(Ctrip)...
2019-05-30 08:59:31 303
转载 Ceph 进阶系列(一):Ceph三种(块/文件/对象)存储接口
转载:Ceph介绍及原理架构分享1. Ceph架构简介及使用场景介绍1.1 Ceph简介Ceph是一个统一的分布式存储系统,设计初衷是提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作(最早的成果于2004年发表),并随后贡献给开源社区。在经过了数年的发展之后,目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph...
2019-05-29 15:51:21 6170
原创 傻傻分不清今日头条/字节跳动的关系
字节跳动(ByteDance)在最近一次融资中的估值为750亿美元,是全球最有价值的初创企业。office大楼有过一次更名: => 字节跳动(ByteDance)旗下有哪些产品呢?旗下产品包括 今日头条、抖音(Tik Tok)、悟空问答、西瓜视频、火山小视频、快马、花熊、激萌、图虫、懂车帝、多闪、时光相册等。关键时间点:版图关系:...
2019-05-29 14:35:34 85273 1
转载 Ceph 入门系列(二):Ceph三种(块/文件/对象)存储接口的由来和特点
转载:理解Ceph的三种存储接口:块设备、文件系统、对象存储一. Ceph的块设备存储接口首先,什么是块设备?块设备是i/o设备中的一类,是将信息存储在固定大小的块中,每个块都有自己的地址,还可以在设备的任意位置读取一定长度的数据。看不懂?那就暂且认为块设备就是硬盘或虚拟磁盘。查看下Linux环境中的设备:# lsblk上面的/dev/sda、/dev/sdb和/...
2019-05-28 18:07:28 1929
原创 Ceph RBD 入门系列(一) : 块设备的基本使用及librbd在各个应用场景的位置
一、Ceph 块设备块设备是Ceph三种类型存储方式(块存储/对象存储/文件存储)最重要的1. 先在Ceph 存储集群中创建一个映像(image),使用下列命令: rbd create --size {megabytes} {pool-name}/{image-name} 例如,要在 swimmingpool 这个存储池中创建一个名为 bar 、大小为 1GB 的映...
2019-05-28 17:34:01 2129
转载 Ceph 进阶系列(七): Ceph Optimizations for NVMe
PDF Link as below:Ceph Optimizations for NVMe - flashmemorysummit.com
2019-05-28 11:31:12 886
转载 Ceph 撸源码系列(三):Ceph OSDC源码分析 (2 of 2)
转载:Ceph OSDC源码分析(下篇)回顾:Ceph OSDC源码分析(上篇)数据分片分析对象分片跟objectextent的对应关系有点复杂, 听小甲慢慢分析。因为要使用OSDC就要用到用户态的客户端,就是使用fuse,但是内核态的fuse的模块对读写数据大小是进行了限制,写一次最大是4K,读一次最大是128K,也就是说我们如果像我们列子中要读取文件中1M到6M之内的内容不是一...
2019-05-27 17:48:14 1907
转载 Ceph 撸源码系列(三):Ceph OSDC源码分析 (1 of 2)
转载:Ceph OSDC源码分析1.OSDC是什么OSDC其实是一个osd client模块的简称,在rbd和cephfs两个应用中都用到了,这个模块主要用来跟rados交互,这个模块里面完成了几个主要的功能:(1) 地址空间的转换:从rbd或者cephfs文件的一维地址空间转换到对象的三维地址空间(后面会讲到什么是三维地址空间,objectset,stripeno,stripep...
2019-05-27 17:21:03 5005
转载 Linux I/O存储栈图(The Linux I/O Stack):一图知天下
转载:http://www.thomas-krenn.com/en/wiki/Linux_Storage_Stack_Diagram
2019-05-24 15:24:01 2814
转载 Ceph 进阶系列(六):理解 QEMU/KVM 和 Ceph的关系(3 of 3)
转载:理解 QEMU/KVM 和 Ceph(3):存储卷挂接和设备名称本系列文章会总结 QEMU/KVM 和 Ceph 之间的整合:(1)QEMU-KVM 和 Ceph RBD 的 缓存机制总结(2)QEMU 的 RBD 块驱动(block driver)(3)存储卷挂接和设备名称这篇文章分析一下一个 Ceph RBD 卷是如何被映射到一个 QEMU/KVM 客户机的,以...
2019-05-24 14:10:49 428
转载 Ceph 进阶系列(六):理解 QEMU/KVM 和 Ceph的关系(2 of 3)
转载:理解 QEMU/KVM 和 Ceph(2):QEMU 的 RBD 块驱动(block driver)(1)QEMU-KVM 和 Ceph RBD 的 缓存机制总结(2)QEMU 的 RBD 块驱动(block driver)(3)存储卷挂接和设备名称1. QEMU 的 RBD 块驱动 QEMU/KVM 虚机中的磁盘(disk drive),可能虚拟自 H...
2019-05-24 14:08:43 683
转载 Ceph 进阶系列(六):理解 QEMU/KVM 和 Ceph的关系(1 of 3)
转载:理解 QEMU/KVM 和 Ceph(1):QEMU-KVM 和 Ceph RBD 的 缓存机制总结本系列文章会总结 QEMU/KVM 和 Ceph 之间的整合:(1)QEMU-KVM 和 Ceph RBD 的 缓存机制总结(2)QEMU 的 RBD 块驱动(block driver)(3)存储卷挂接和设备名称 QEMU-KVM 的缓存机制的概念很多,Linux/...
2019-05-24 14:03:24 871
转载 Ceph 入门系列(六) :ceph工作原理及CentOS上的安装
转载:ceph工作原理和安装一、概述Ceph是一个分布式存储系统,诞生于2004年,最早致力于开发下一代高性能分布式文件系统的项目。随着云计算的发展,ceph乘上了OpenStack的春风,进而成为了开源社区受关注较高的项目之一。Ceph有以下优势:1. CRUSH算法Crush算法是ceph的两大创新之一,简单来说,ceph摒弃了传统的集中式存储元数据寻址的方案,转而使用CRU...
2019-05-23 18:17:32 336
转载 Ceph测试系列(三):Ceph集群(3 osd节点)dd及rados bench 性能测试
转载:Ceph分布式存储系统-性能测试与优化摘要:本文先介绍了各个节点的本地磁盘吞吐量和延迟测试(dd 命令),节点间的网络测试(dd+nc命令),及最后的rados bench测试(配置不同的块大小)。测试环境部署方案:整个Ceph Cluster使用4台ECS,均在同一VPC中,结构如图:以下是 Ceph 的测试环境,说明如下:Ceph 采用 10.2.10 版本,...
2019-05-23 17:49:35 3491 1
转载 Ceph优化系列(一):Ceph架构及性能优化
转载:Ceph架构及性能优化对分布式存储系统的优化离不开以下几点:1. 硬件层面硬件规划SSD选择BIOS设置2. 软件层面Linux OSCeph ConfigurationsPG Number调整CRUSH Map其他因素硬件层面1、 CPUceph-osd进程在运行过程中会消耗CPU资源,所以一般会为每一个ceph-osd进程绑...
2019-05-23 17:34:22 2711 1
转载 SPDK简介(其与Ceph rbd的关系)
转载:SPDK简介SPDK(Storage Performance Development Kit)是Intel发布的存储性能开发工具集。简介固态存储设备正在取代数据中心。目前这一代的闪存存储,比起传统的磁盘设备,在性能(performance)、功耗(power consumption)和机架密度(rack density)上具有显著的优势。这些优势将会继续增大,使闪存存储作为...
2019-05-23 15:23:54 3365
转载 如何阅读OpenStack源码(Python)
转载:如何阅读OpenStack源码1 关于该项目本项目使用在线绘图工具web sequencediagrams完成,目标是图形化OpenStack的所有操作流程,通过操作序列图能快速学习Openstack的工作原理,理清各个组件的关系,运维人员也能根据操作序列图进行更精确的故障定位和排查.注意,该操作序列图基于L版OpenStack源码,未来版本的操作可能会有变化,请以最新版的源码为...
2019-05-22 17:54:26 1201
转载 是时候放弃 Spark Streaming, 转向 Structured Streaming 了
转载:是时候放弃 Spark Streaming, 转向 Structured Streaming 了正如在之前的那篇文章中 Spark Streaming 设计原理 中说到 Spark 团队之后对 Spark Streaming 的维护可能越来越少,Spark 2.4 版本的 Release Note 里面果然一个 Spark Streaming 相关的 ticket 都没有。相比之下,St...
2019-05-22 16:08:09 788
原创 Ceph 进阶系列(一):一些基本概念(1 of 2,偏client端 )
推荐的三本中文书:《Ceph设计原理与实现》-- 概念入门阶段 《Ceph分布式存储实战》-- 安装部署阶段 《Ceph源码分析》 -- 撸代码阶段带着问题 看书/看源码/看blog,搞事情:1. 什么是pool?pool是一个抽象的存储池。它规定了数据冗余的类型以及对应的副本分布策略。目前实现了两种pool类型:replicated类型(副本类型)和Eras...
2019-05-21 16:06:20 1021
转载 Ceph 入门系列(四) :CEPH与OPENSTACK
转载: OpenStack 与 Ceph 的三个结合点OpenStack与ceph通过分析发现ceph现在的状态特别像是openstack的组件.迎合openstack的需求.-ceph 镜像image:对应Openstack Glance,Glance管理 VM 的启动镜像,Nova 创建 VM 时将使用 Glance 提供的镜像。-ceph block对应于Opensta...
2019-05-20 17:58:38 1142
转载 Ceph 入门系列(三) :Ceph的工作原理及流程
转载:Ceph的工作原理及流程 一、RADOS的对象寻址 Ceph 存储集群从Ceph 客户端接收数据——不管是来自Ceph 块设备、Ceph 对象存储、Ceph 文件系统、还是基于librados的自定义实现——并存储为对象。每个对象是文件系统中的一个文件,它们存储在对象存储设备上。由 Ceph OSD 守护进程处理存储设备上的读/写操作。 在传统架构里,客户端...
2019-05-20 17:06:25 1007
转载 Ceph 入门系列(二):ceph组件简介
转载:ceph初识 一、什么是Ceph? Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式的存储系统。Ceph 独一无二地用统一的系统提供了对象、块、和文件存储功能,它可靠性高、管理简便、并且是开源软件。 Ceph 的强大足以改变贵公司的 IT 基础架构、和管理海量数据的能力。Ceph 可提供极大的伸缩性——供成千用户访问 PB 乃至 EB 级的数据。Ceph ...
2019-05-20 16:55:08 3505
原创 Ceph 入门系列(一):ceph历史
Ceph 项目起源于其创始人Sage Weil在加州大学Santa Cruz分校攻读博士期间的研究课题。项目的起始时间为2004年,在2006年基于开源协议开源了Ceph的源代码。Sage Weil也相应成立了Inktank公司专注于Ceph的研发。在2014年5月,该公司被Red Hat收购。Ceph项目的发展历程如下:一、优势CRUSH 算法CRUSH 算法是 Ce...
2019-05-17 18:05:49 3339
转载 Win10下已安装的Eclipse(安装C++插件)看Ceph源代码--简单版
转载:在Eclipse中添加C/C++插件如果尚未安装 Eclipse,可直接下载包含C/C++的 Eclipse IDEhttp://www.eclipse.org/downloads/eclipse-packages/?osType=linux&release=undefined如果安装过 Eclipse,可选择安装CDT(C/C++ Development Tool...
2019-05-16 17:50:44 249
转载 NVMe over Fabric 介绍
先来看看实际应用中的NVMe over Fabric的框架,拜个码头好办事。转载:为了部落:NVMe over Fabric诞生记(协议细节及市场现状篇)前序文章阅读:《为了部落:NVMe over Fabric诞生记》《为了部落:NVMe over Fabric诞生记——RDMA篇》对于NVMe over Fabrics协议来说,要解决下面几个问题:提供对于不同互联透明的消息...
2019-05-16 15:39:51 6839
转载 HBase 和 MongoDB(前传):SQL 和 NoSQL 的区别
SQL 和 NoSQL 的区别一、概念 SQL(StructuredQueryLanguage)数据库,指关系型数据库。主要代表:SQLServer,Oracle,MySQL(开源),PostgreSQL(开源)。 NoSQL(NotOnlySQL)泛指非关系型数据库。主要代表:HBase,MongoDB,Redis,CouchDB。NoSQL数据库的四大分...
2019-05-16 14:14:52 206
原创 【刷题】删除双向链表里相同的节点
有双向链表结点定义为: struct node { int data; struct node *front,*next; }; 有两个双向链表A,B,知道其头指针为:pHeadA,pHeadB,请写一函数将两链表中data值相同的结点删除。答案:typedef struct node{ int data; struct...
2019-05-16 14:01:06 2350 1
转载 volatile类型修饰符/内存屏障/处理器缓存
转载:[面试]volatile类型修饰符/内存屏障/处理器缓存请问什么是volatile<<Java并发编程的艺术>>: java语言规范第三版中对volatile的定义如下:java编程语言允许线程访问共享变量,为了确保共享变量能被准确和一致的更新,线程应该确保通过排它锁单独获得这个变量。java语言提供了volatile,在某些情况下比锁更加方便。如果一个字段...
2019-05-16 14:00:48 267
转载 HBase 和 MongoDB(三):对比 Redis、、Couchbase、LevelDB
转载:几款主流 NoSql 数据库的对比最近小组准备启动一个 node 开源项目,从前端亲和力、大数据下的IO性能、可扩展性几点入手挑选了 NoSql 数据库,但具体使用哪一款产品还需要做一次选型。我们最终把选项范围缩窄在HBase、Redis、MongoDB、Couchbase、LevelDB 五款较主流的数据库产品中,本文将主要对它们进行分析对比。鉴于缺乏项目中的实战经验沉淀,本...
2019-05-16 13:59:34 1847
转载 HBase 和 MongoDB(二):区别详细列表
1.Mongodb bson文档型数据库,整个数据都存在磁盘中,hbase是列式数据库,集群部署时每个familycolumn保存在单独的hdfs文件中。2.Mongodb 主键是“_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样,hbase的主键就是row key,可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),在hbase内部,row ...
2019-05-16 09:17:26 225
转载 HBase 和 MongoDB(一):设计上 的区别
昨天搜一下mongodb的资料,介绍应用的比较多,原理介绍的不多。粗略得看了一下,总体来说两者的设计思路差不多,主要就是通过划区间去分布数据,后台进程进行数据分裂两者的区别主要在于:1、HBase依赖于HDFS;MongoDB直接存储在本地磁盘中2、HBase按照列族将数据存储在不同的文件中;MongoDB不分列,整个文档都存储在一个(或者说一组)文件中,通过一个有一个通用的.ns文件保存...
2019-05-16 09:13:28 816
原创 Win10下直接下载Eclipse(scala IDE)看Spark源代码--简单版
1. 可以从下面链接获取Window10 版本的Eclipse,当然如果你有Ubuntu环境建议使用Intel IDEA.http://scala-ide.org/download/sdk.html这个压缩包包含了下面内容:ContentEclipse 4.7.1 (Oxygen) Scala IDE 4.7.0 Scala 2.12.3 with Scala 2.11.11 ...
2019-05-15 15:11:05 250
原创 Win10里的Eclipse(Java IDE)工具下读Spark源代码--复杂版
1.安装jdk2.安装eclipse3.下载spark源码从 https://github.com/apache/spark 下载你需要的spark版本,我选的是master版本,如下图:当然,也方便eclipse中 Ctrl+点击 来跳转到源码查看。具体是Attach Source中指定下载的源码所在位置即可按住Ctrl,用鼠标去点一些jar包里的方法,你可以选择跳转到im...
2019-05-08 14:44:56 263
转载 Linux网卡命名enp1s0说明
用了很多年Linux的我在升级Ubuntu 16.04之后竟然发现我的以太网卡的名字竟然不是eth0,变成了enp1s0,每次想要修改什么配置,都要先ifconfig查一下网卡名,真是让我很郁闷!去网上搜索一下才知道,这次的Ubuntu 16的更新幅度很大,当属systemd替换掉了initd来引导系统这个动作给用户带来的影响最大,原来习惯service什么的来控制系统服务什么的,现在竟然...
2019-05-07 17:37:50 12931
转载 在Spark结构化流readStream、writeStream 输入输出,及过程ETL
https://databricks.com/blog/2017/04/04/real-time-end-to-end-integration-with-apache-kafka-in-apache-sparks-structured-streaming.html本文翻译自DataBricks官方博客,主要描述了Apache Spark 2.0中推出的新功能Structured Streami...
2019-05-06 14:36:05 4942
转载 Delta剖析 | Delta源码解析与实践案例
转载:Delta剖析 | Delta源码解析与实践案例Delta 原本是在 Databricks Runtime 里面的一个增值功能,在 Spark + AI Summit 2019 大会上,官方以 Apache License 2.0 协议开源。Spark 一直在往批流统一的方向上演进,有了 Structured Streaming 之后,就实现引擎内核的批流统一,API 也高度统一,比...
2019-05-06 10:58:57 2259 3
micron_9200_Ceph_reference_architecture.pdf
2019-07-25
C:\Users\yjiang2\Downloads\Ceph分布式文件系统\Supermicro’s Total Solution for Ceph .pdf
2019-07-25
C:\Users\yjiang2\Downloads\Ceph分布式文件系统\Ceph中国社区\Ceph-User-Survey-2018-Slides.pdf
2019-07-08
Ceph简单介绍
2019-04-23
Continuous Processing in Structured Streaming Design Sketch
2019-03-30
Spark自己的分布式存储系统BlockManager全解析
2019-03-29
PCIe数据链路层协议(Data Link Layer Specifications)
2019-03-29
PCIE处理层协议(Transaction Layer Specifications)
2019-03-29
PCI-Express总线简介
2019-03-29
Nand flash基本原理
2019-03-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人