关闭

[置顶] ceph系统原理 细节 benchmark 不完全说明

ceph系统原理 细节 说明1 流程说明1.1 应用1) RADOS GW是一个提供与Amazon S3和Swift兼容的RESTful API的gateway,以供相应的对象存储应用开发使用。RADOS GW提供的API抽象层次更高,但功能则不如librados强大。因此,开发者应针对自己的需求选择使用. 2) RBD则提供了一个标准的块设备接口,常用于在虚拟化的场景下为虚拟机创建vo...
阅读(14033) 评论(2)

1MySql学习

MySql 学习<重要设置 关闭 safe update mode SET SQL_SAFE_UPDATES = 0;存储引擎选择查看数据库支持的存储引擎show engines;更改存储引擎Alter table tableName engine =engineName存储引擎 InnoDB MRG_MYISAM MEMORY BLACKHOLE MyISAM CSV ARCHIVE PERFO...
阅读(308) 评论(0)

从零开始学Storm

从零开始学StormStorm简介 学习 1基本知识 应用方向:流处理 连续计算 分布式RPC storm-state 管理大量的内存状态0.8 版本引入State2拓扑详解TopologyBuilder3组件详解Map conf Storm配置IComponent 所有组件的接口void declareOutputFields(OutputFieldsDeclarer declarer)...
阅读(861) 评论(0)

storm知识点

storm知识点 关于Storm与JStorm的调度算法的讨论 Storm 性能优化 例子 图书 Storm技术内幕与大数据实践 192页 Storm:大数据流式计算及应用实践 storm1.0.0性能提升Storm 1.0.0说性能提升了16倍,延迟减少了60% 性能如何提升,提升了哪些方面? 自动反压机制 反压介绍 zoonkeeper 是瓶颈. Pacemaker - Heartbea...
阅读(228) 评论(0)

Storm实战_构建大数据实时计算

Storm实战 构建大数据实时计算ZeroMQsudo yum install maven1简介 使用场景实时分析 在线机器学习 持续计算 分布式RPC ETL 保证每个消息都得到处理,速度快每个节点每秒百万次消息. 实体工作进程:每台机器上多个 exector:每个进程多个 任务:每个exector多个任务 spot boltstorm 0.7版本引入事物拓扑解决,严格要求每个事物仅处理一次....
阅读(416) 评论(0)

Storm技术内幕与大数据实践

Storm技术内幕与大数据实践笔记周健华 2016年10月序LinnkdIn 基于Kafka 开发了,Samza用于实时新闻推送,广告和复杂监控.1号店使用经验.1绪论 Nimbus 和 Supervisor 通信通过ZooKeeper完成. storm 0.8版本开始executor为具体物理线程. 同一个spout/bolt的task可能会共享一个物理线程.Apache kafka 消息队列...
阅读(536) 评论(0)

Storm工具及命令

Storm开发问题:消息处理 best effort方式. 可靠性 Guaranteeing Message Processing并行度一个进程属于特定的topology。 进程启动一个或多个线程。 一个task认为是一个spout或者bolt实例。 默认一个executor分配一个task。 可以设置worker数量,executor数量和task数量。编程IDEA 运行storm-st...
阅读(286) 评论(0)

Storm分布式实时计算模式

Storm分布式实时计算模式1分布式单词计数并行度 worker一个workder属于特定的topology。 进程启动一个或多个executor。 executor一个 executor 是由 worker 进程生成的一个线程。 executor 中可能会有一个或者多个 task 一个task位同一个组件服务spout/bolt。 默认一个executor分配一个task。 tasktask 是实...
阅读(593) 评论(0)

maven使用

Storm编译运行1maven依赖下载Maven教程 - 更换镜像ubuntu eclipse 安装maven插件更换 Maven 镜像Maven 的官方镜像比较慢,建议使用其他网站提供的镜像,速度比较快国内访问repo1.maven.org访问不了,导致maven不能下载依赖,解决方法是自己设置maven的mirrors,就是设置镜像:在~/.m2/目录下建立一个settings.xml文件,内...
阅读(175) 评论(0)

Jstorm

Jstorm 为什么启动Jstorm项目现有storm调度太简单粗暴,无法定制化 雪崩问题一直没有解决 监控太简单 对ZK 访问频繁 RPC OOM(OOM - Out of Memory,内存溢出 ——俗称雪崩问题)一直没有解决原生Storm RPC:Zeromq 使用堆外内存,导致OS 内存不够,Netty 导致OOM; JStorm底层RPC 采用netty + disruptor,保证发送...
阅读(144) 评论(0)

1storm知识汇总

storm重要知识点 关于Storm与JStorm的调度算法的讨论 Storm 性能优化 例子 图书 Storm技术内幕与大数据实践 192页 Storm:大数据流式计算及应用实践 storm1.0.0性能提升Storm 1.0.0说性能提升了16倍,延迟减少了60% 性能如何提升,提升了哪些方面? 自动反压机制 反压介绍 zoonkeeper 是瓶颈. Pacemaker - Heartb...
阅读(111) 评论(0)

Storm调度

调度资源感应调度器默认配置文件defaults.yamlResource_Aware_Scheduler_overview调度器 EventScheduler:将系统中的可用资源均匀地分配给需要资源的topology,其实也不是绝对均匀,后续会详细说明 DefaultScheduler:和EvenetScheduler差不多,只不过会先将其它topology不需要的资源重新收集起来,再进行Event...
阅读(288) 评论(0)

cookbook

ceph cookbook可靠性 纠删码 缓存rbd接口块设备每一个块设备分布在多个ceph节点上. librbd库,RBD原生支持Linux内核.特性1) 可靠性,性能 2) 完整和增量快照 3) 自动精简配置 4) 写时复制克隆 5) 动态调整大小 6) 内存内缓存块设备可以和Cinder(块存储)和Glance(镜像)组件对接.检查内核对RBD支持sudo modpro...
阅读(187) 评论(0)

cephlearn

ceph重点安装时指定日志盘ceph-deploy osd HOST:DISK[:JOURNAL] ceph-deploy osd prepare 数据盘:日志盘 ceph-deploy osd prepare --zap-disk objStor02:/dev/sdd:/dev/sdb 在使用ceph-deploy osd prepare命令的对目标机器的磁盘进行格式化过程中,ceph-depl...
阅读(253) 评论(0)

redhatDocument

红帽文档阅读redhat ceph 文档发布说明 通过Ansible进行安装 OSD BLUESTORE技术预览 安装说明在redhat上安装ceph 全局设置 [global] fsid = mon initial members = [, ] mon host = [, ] public network = [, ] cluster network = [, ]...
阅读(131) 评论(0)

Storm and Heron

storm learnJstormstorm java 实现JStorm 比Storm更稳定,更强大,更快, Storm上跑的程序,一行代码不变可以运行在JStorm上。Jstorm github封仲淹:Storm 2.0将会基于JStorm,阿里巴巴全程参与中文资料 结论JStorm 0.9.0 在使用Netty的情况下,比Storm 0.9.0 使用Netty情况下,快10%, 并且JStorm...
阅读(1162) 评论(0)

go 语言编程

go语言 并行与分布式 软件工程支持 编程哲学 执行体go语言特性自动垃圾回收 更丰富的内置类型 函数多返回值 错误处理 匿名函数和闭包 类型和接口 并发编程 反射 语言交互性#环境的搭建 yum -y install golanghello worldroot@122159d23f8e:~# cat hello.go package main import "fmt" func main(){...
阅读(543) 评论(0)

docker

一台服务器同时运行一百个docker成为现实\ docker 基于go语言docker 1.10.3安装docker#centos 7 sudo yum install -y docker#启动服务 sudo service docker start #安装最新的ubuntu sudo docker pull ubuntu sudo docker pull ubuntu:14.04 sudo d...
阅读(875) 评论(0)

CRUSH 论文伪代码整理

论文原始图片 程序说明,解释//对象x的CRUSH放置算 procedure TAKE(a) // Put item a in working vector~i { ~i←[a] }//end procedure procedure SELECT(n,t) // Select n items of type t { ~o←0 //输出结果o,开始为空 for i ∈~i do //遍...
阅读(670) 评论(0)

CEPH CRUSH 算法源码分析 原文CEPH CRUSH algorithm source code analysis

原文地址 CEPH CRUSH algorithm source code analysis http://www.shalandis.com/original/2016/05/19/CEPH-CRUSH-algorithm-source-code-analysis/ 文章比较深入的写了CRUSH算法的原理和过程.通过调试深入的介绍了CRUSH计算的过程.文章中添加了些内容.写在前面读本文前,...
阅读(7558) 评论(2)

crush 核心函数 crush_do_rule

crush 核心函数crush_do_rule 位置crush/mapper.c重要过程 - crush_do_rule: do crushrules iteratively - crush_choose_firstn: choose buckets or devices of specified type recursively - crush_bucket_choose: direc...
阅读(920) 评论(0)
208条 共11页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:150251次
    • 积分:2765
    • 等级:
    • 排名:第13691名
    • 原创:118篇
    • 转载:88篇
    • 译文:2篇
    • 评论:10条
    说明
    博客记录学习点滴
    Email: zjhua678@163.com