周健华的专栏

Nothing replaces hard work!

排序:
默认
按更新时间
按访问量

ceph系统原理 细节 benchmark 不完全说明

ceph系统原理 细节 说明1 流程说明1.1 应用1) RADOS GW是一个提供与Amazon S3和Swift兼容的RESTful API的gateway,以供相应的对象存储应用开发使用。RADOS GW提供的API抽象层次更高,但功能则不如librados强大。因此,开发者应针对自...

2016-05-22 10:31:23

阅读数:16523

评论数:2

1MySql学习

MySql 学习<重要设置 关闭 safe update mode SET SQL_SAFE_UPDATES = 0;存储引擎选择查看数据库支持的存储引擎show engines;更改存储引擎Alter table tableName engine =engineName存储引擎 Inno...

2017-04-09 16:14:24

阅读数:513

评论数:1

从零开始学Storm

从零开始学StormStorm简介 学习 1基本知识 应用方向:流处理 连续计算 分布式RPC storm-state 管理大量的内存状态0.8 版本引入State2拓扑详解TopologyBuilder3组件详解Map conf Storm配置IComponent 所有组件的接口void ...

2017-04-09 16:12:12

阅读数:1240

评论数:0

storm知识点

storm知识点 关于Storm与JStorm的调度算法的讨论 Storm 性能优化 例子 图书 Storm技术内幕与大数据实践 192页 Storm:大数据流式计算及应用实践 storm1.0.0性能提升Storm 1.0.0说性能提升了16倍,延迟减少了60% 性能如何提升,提升了哪些方面?...

2017-04-09 16:11:55

阅读数:378

评论数:0

Storm实战_构建大数据实时计算

Storm实战 构建大数据实时计算ZeroMQsudo yum install maven1简介 使用场景实时分析 在线机器学习 持续计算 分布式RPC ETL 保证每个消息都得到处理,速度快每个节点每秒百万次消息. 实体工作进程:每台机器上多个 exector:每个进程多个 任务:每个exec...

2017-04-09 16:11:37

阅读数:852

评论数:0

Storm技术内幕与大数据实践

Storm技术内幕与大数据实践笔记周健华 2016年10月序LinnkdIn 基于Kafka 开发了,Samza用于实时新闻推送,广告和复杂监控.1号店使用经验.1绪论 Nimbus 和 Supervisor 通信通过ZooKeeper完成. storm 0.8版本开始executor为具体物理线...

2017-04-09 16:11:11

阅读数:766

评论数:0

Storm工具及命令

Storm开发问题:消息处理 best effort方式. 可靠性 Guaranteeing Message Processing并行度一个进程属于特定的topology。 进程启动一个或多个线程。 一个task认为是一个spout或者bolt实例。 默认一个executor分配一个tas...

2017-04-09 16:10:53

阅读数:528

评论数:0

Storm分布式实时计算模式

Storm分布式实时计算模式1分布式单词计数并行度 worker一个workder属于特定的topology。 进程启动一个或多个executor。 executor一个 executor 是由 worker 进程生成的一个线程。 executor 中可能会有一个或者多个 task 一个task位...

2017-04-09 16:10:36

阅读数:1199

评论数:0

maven使用

Storm编译运行1maven依赖下载Maven教程 - 更换镜像ubuntu eclipse 安装maven插件更换 Maven 镜像Maven 的官方镜像比较慢,建议使用其他网站提供的镜像,速度比较快国内访问repo1.maven.org访问不了,导致maven不能下载依赖,解决方法是自己设...

2017-04-09 16:09:56

阅读数:262

评论数:0

Jstorm

Jstorm 为什么启动Jstorm项目现有storm调度太简单粗暴,无法定制化 雪崩问题一直没有解决 监控太简单 对ZK 访问频繁 RPC OOM(OOM - Out of Memory,内存溢出 ——俗称雪崩问题)一直没有解决原生Storm RPC:Zeromq 使用堆外内存,导致OS 内存不...

2017-04-09 16:09:25

阅读数:363

评论数:0

1storm知识汇总

storm重要知识点 关于Storm与JStorm的调度算法的讨论 Storm 性能优化 例子 图书 Storm技术内幕与大数据实践 192页 Storm:大数据流式计算及应用实践 storm1.0.0性能提升Storm 1.0.0说性能提升了16倍,延迟减少了60% 性能如何提升,提升了哪些方...

2017-04-09 16:08:51

阅读数:210

评论数:0

Storm调度

调度资源感应调度器默认配置文件defaults.yamlResource_Aware_Scheduler_overview调度器 EventScheduler:将系统中的可用资源均匀地分配给需要资源的topology,其实也不是绝对均匀,后续会详细说明 DefaultScheduler:和Even...

2017-04-09 16:08:34

阅读数:782

评论数:0

cookbook

ceph cookbook可靠性 纠删码 缓存rbd接口块设备每一个块设备分布在多个ceph节点上. librbd库,RBD原生支持Linux内核.特性1) 可靠性,性能 2) 完整和增量快照 3) 自动精简配置 4) 写时复制克隆 5) 动态调整大小 6) 内存内缓存块设...

2017-04-09 16:05:26

阅读数:283

评论数:0

cephlearn

ceph重点安装时指定日志盘ceph-deploy osd HOST:DISK[:JOURNAL] ceph-deploy osd prepare 数据盘:日志盘 ceph-deploy osd prepare --zap-disk objStor02:/dev/sdd:/dev/sdb 在使用...

2017-04-09 16:04:36

阅读数:499

评论数:0

redhatDocument

红帽文档阅读redhat ceph 文档发布说明 通过Ansible进行安装 OSD BLUESTORE技术预览 安装说明在redhat上安装ceph 全局设置 [global] fsid = mon initial members = [, ] mon host = [, ...

2017-04-09 16:03:54

阅读数:196

评论数:0

Storm and Heron

storm learnJstormstorm java 实现JStorm 比Storm更稳定,更强大,更快, Storm上跑的程序,一行代码不变可以运行在JStorm上。Jstorm github封仲淹:Storm 2.0将会基于JStorm,阿里巴巴全程参与中文资料 结论JStorm 0.9.0...

2016-10-04 19:16:16

阅读数:1346

评论数:0

go 语言编程

go语言 并行与分布式 软件工程支持 编程哲学 执行体go语言特性自动垃圾回收 更丰富的内置类型 函数多返回值 错误处理 匿名函数和闭包 类型和接口 并发编程 反射 语言交互性#环境的搭建 yum -y install golanghello worldroot@122159d23f8e:~# c...

2016-07-08 11:59:14

阅读数:633

评论数:0

docker

一台服务器同时运行一百个docker成为现实\ docker 基于go语言docker 1.10.3安装docker#centos 7 sudo yum install -y docker#启动服务 sudo service docker start #安装最新的ubuntu sudo doc...

2016-07-05 14:37:53

阅读数:975

评论数:0

CRUSH 论文伪代码整理

论文原始图片 程序说明,解释//对象x的CRUSH放置算 procedure TAKE(a) // Put item a in working vector~i { ~i←[a] }//end procedure procedure SELECT(n,t) // Select n items ...

2016-06-07 12:01:01

阅读数:1834

评论数:0

CEPH CRUSH 算法源码分析 原文CEPH CRUSH algorithm source code analysis

原文地址 CEPH CRUSH algorithm source code analysis http://www.shalandis.com/original/2016/05/19/CEPH-CRUSH-algorithm-source-code-analysis/ 文章比较深入的写了CR...

2016-06-05 17:53:53

阅读数:8246

评论数:2

提示
确定要删除当前文章?
取消 删除
关闭
关闭