Ceph集群搭建系列(一):Ceph 集群搭建

目录 摘要: 目录 一、准备机器 二、ceph节点安装 三、搭建集群 后续:Ceph集群搭建系列(二):Ceph 集群扩容 参考: 摘要: 本文介绍的Ceph 集群搭建是基于luminous版本(ceph -v: ceph version 12.2.11 (26dc3775efc...

2019-06-11 11:50:33

阅读数 215

评论数 9

Spark Core 子模块 storage分析

一、前言 1. 相关版本:Spark Master branch(2018.10, compiled-version spark-2.5.0, 设置了spark.shuffle.sort.bypassMergeThreshold   1  和 YARN-client 模式) ,HiBench-6...

2019-01-14 10:23:02

阅读数 139

评论数 1

搭建Hadoop(v2.7.1)单节点伪模式, 集群(2 节点)及 集群(5 节点)

一 前言: 目的: 熟悉一下Hadoop 集群搭建的过程, 哪怕 2 台机器也来趟一遍。通过学习集群的 log,熟悉集群的流程。为以后有条件搭建和维护上百台的集群环境(我想应该是没这个可能的),迈出一小步。 二 先来熟悉一下 单节点伪模式(standalone)搭建步骤: 1) 安装ss...

2018-07-19 10:07:48

阅读数 292

评论数 0

Ceph 进阶系列(三):谈谈 Ceph Cache Tier 的配置 、原理 和 源码分析

从GitHub上Clone Ceph项目,我是基于(ceph version 12.2.11 luminous 版本)的代码来分析的 一、Cache Tier(Cache Pool)是什么? 在Ceph里创建pool时,可以设置一个pool为另一个pool的 cache 层,做缓存层的pool...

2019-08-19 17:56:24

阅读数 18

评论数 0

Ceph 撸源码系列(一):Ceph开源项目源代码的关键目录介绍

从GitHub上Clone Ceph项目,其(ceph version 12.2.11 luminous 版本)目录下主要文件夹和文件的内容介绍如下: 1、一级根目录 [admin]:管理工具,用于架设文档服务器等 [debian]:用于制作debian(Ubuntu)安装包的相关脚本和文件...

2019-08-14 14:00:16

阅读数 16

评论数 0

中国Ceph用户统计(2018年度)

云服务提供商 互联网行业 Ceph产品提供商 金融行业 媒体行业 交通运输 能源行业 游戏行业 UnitedStack 京东 H3C 飞贷金融 贵州广电 海航云 国家电网 完美世界 99Cloud 阿...

2019-08-06 11:04:05

阅读数 3576

评论数 0

Ceph可视化管理dashboard系列(二):安装和使用luminous版本内置的dashboard

可视化管理dashboard中推荐指数:*** 一、请参考Ceph集群搭建系列(一):Ceph 集群搭建 搭建一个集群 二、设置Ceph及配置mgr 1. 添加mgr ceph-deploy mgr create ubuntu-sebre ceph mgr module enable d...

2019-07-25 10:48:49

阅读数 19

评论数 0

Ceph可视化管理dashboard系列(一):安装和使用ceph-dash

可视化管理dashboard中推荐指数:* 0. ceph-dash简介 ceph-dash极其简单,提供类似ceph -s命令的信息及实时的IO速率等。 1. 下载ceph-dash mkdir /ceph-dash cd /ceph-dash git clone https://gi...

2019-07-25 09:43:38

阅读数 24

评论数 0

查看网卡硬件配置(网速性能)

1. 确定网卡的设备名: ~$ ifconfig enp5s0f1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 10.110.141.30 netmask 255.255.2...

2019-07-23 18:01:09

阅读数 10

评论数 0

Ceph集群搭建系列(前言):定制自己的 Ceph 配置文件路径

机器是要共享的,集群更会如此。这样才能达到资源利用率最大化。那么team 里每个人有自己的定制化配置和安装。这里就会涉及的如何定制自己的 Ceph 配置文件路径?能有多个配置路径吗?如果有,那它的优先级是怎么样的? 用户可以设置自己的 $CEPH_CONF 变量;用户也可以配置多个 Ceph 配...

2019-07-19 10:31:35

阅读数 20

评论数 0

Ceph集群搭建系列(六):RBD块设备的使用场景、原理分析及其创建

一、前言 下图数据出自2018年ceph社区用户调查报告,Ceph RBD接口的使用场景主要是VM和DB数据库。 而使用Ceph RBD的接口方式的用户数据如下,主要是librbd 和 kernel RBD,如下图: 那么对于初学者来说,librbd 和 linux kernel R...

2019-07-17 09:48:42

阅读数 16

评论数 0

Ceph集群搭建系列(四):CephFS client客户端使用CephFS

一、前言:CephFS用户使用报告 根据去年2018的Ceph社区用户报告,使用CephFS Client已经略超RGW,用户数据如下: 使用CephFS虽然performance不好,但在文件备份和文档管理的应用方面已基本满足需求,另外CephFS是支持多节点挂载(例如,K8S应用中),...

2019-07-16 15:20:44

阅读数 21

评论数 0

IT Pros Vote 2019 Servers Brand Leaders

Survey Highlights Dell EMCRackmount Servers After a brief hiatus in 2018, IT Pros have once again voted Dell EMC the Market leader for Rackmount Ser...

2019-07-16 10:04:00

阅读数 10

评论数 0

Ceph 进阶系列(一):Ceph日志和调试

简介: 本文参照Ceph 官方文档Ceph子系统日志的设置和调试,主要介绍了Ceph日志分类(一个分两类log file level和memory level)、怎么设置日志级别、日志存在哪个目录等 日志和调试 一般来说,你应该在运行时增加调试选项来调试问题;也可以把调试选项添加到 Ceph...

2019-07-12 16:52:18

阅读数 16

评论数 0

爆料:Micron计划推出OLC(Octa Level Cell) NAND

转载:爆料:Micron计划推出OLC NAND Micron的第三方内存合作伙伴说他们计划将在2019年上半年宣布OLC。 早在2018年5月,Micron公司推出了Quad-Level(QLC)NAND技术,但令人惊讶的是他们的股价却从60美元左右跌至30美元左右。不过这是复杂的闪存定价和...

2019-07-10 09:18:23

阅读数 57

评论数 0

Eclipse里安装Go语言开发插件

eclipse->Help->Eclipse Marketplace 在Find栏里输入GoClipse,点击安装

2019-07-08 11:13:30

阅读数 14

评论数 0

2018年Ceph用户使用调查报告

Ceph社区链接:Ceph-User-Survey-2018-Slides.pdf 主要内容: Ceph的用户在哪些地域? 哪些组织在使用Ceph?为什么使用Ceph?使用多久了? Ceph集群使用的情况:包括集群容量的大小,节点个数,用的哪个版本,用的哪个OS平台? Ceph使用的硬件...

2019-07-08 09:57:22

阅读数 147

评论数 0

K8S入门系列(二):常用的一些kubectl命令

kubectl作为客户端CLI工具,可以让用户通过命令行的方式对K8S集群进行操作。K8S排查问题时会经常用到kubectl命令,下面列出常用的 kubectl 命令。 kubectl常用命令 get 获取列出一个或多个资源的信息。(资源分为pod、instance、service等很多...

2019-07-05 09:25:23

阅读数 16

评论数 0

Ceph 对 K8s 说,我们(四):K8S通过RBD使用Ceph集群

转载:k8s(十二)、分布式存储Ceph RBD使用 前言 上篇文章介绍了k8s使用pv/pvc 的方式使用cephfs, Ceph 对 K8s 说,我们(三):K8S通过Cephfs使用Ceph集群 。在本篇将测试使用ceph rbd作持久化存储后端 创建RBD/SC/PV/PVC/POD...

2019-07-05 09:25:07

阅读数 48

评论数 0

解决eclipse 使用git 克隆代码的网络超时问题

点击 eclipse -> Window -> Preferences -> Team ->git 在git选项里有Remote connection timeout ,默认30改成300或者600即可。如果在Preferences 里一时找...

2019-07-04 17:43:02

阅读数 106

评论数 0

提示
确定要删除当前文章?
取消 删除