周健华的专栏

MySql 学习<重要设置关闭 safe update modeSET SQL_SAFE_UPDATES = 0;存储引擎选择查看数据库支持的存储引擎show engines;更改存储引擎Alter table tableName engine =engineName存储引擎InnoDBMRG_MYISAMMEMORYBLACKHOLEMyISAMCSVARCHIVEPERFO

从零开始学StormStorm简介学习1基本知识应用方向:流处理连续计算分布式RPCstorm-state 管理大量的内存状态0.8 版本引入State2拓扑详解TopologyBuilder3组件详解Map conf Storm配置IComponent 所有组件的接口void declareOutputFields(OutputFieldsDeclarer declarer)

storm知识点关于Storm与JStorm的调度算法的讨论Storm 性能优化 例子图书 Storm技术内幕与大数据实践 192页Storm：大数据流式计算及应用实践storm1.0.0性能提升Storm 1.0.0说性能提升了16倍,延迟减少了60% 性能如何提升,提升了哪些方面?自动反压机制 反压介绍zoonkeeper 是瓶颈.Pacemaker - Heartbea

Storm实战 构建大数据实时计算ZeroMQsudo yum install maven1简介使用场景实时分析在线机器学习持续计算分布式RPCETL 保证每个消息都得到处理,速度快每个节点每秒百万次消息.实体工作进程:每台机器上多个exector:每个进程多个任务:每个exector多个任务 spot boltstorm 0.7版本引入事物拓扑解决,严格要求每个事物仅处理一次.

Storm技术内幕与大数据实践笔记周健华 2016年10月序LinnkdIn 基于Kafka 开发了,Samza用于实时新闻推送,广告和复杂监控.1号店使用经验.1绪论Nimbus 和 Supervisor 通信通过ZooKeeper完成.storm 0.8版本开始executor为具体物理线程. 同一个spout/bolt的task可能会共享一个物理线程.Apache kafka 消息队列

Storm开发问题:消息处理 best effort方式. 可靠性 Guaranteeing Message Processing并行度一个进程属于特定的topology。 进程启动一个或多个线程。 一个task认为是一个spout或者bolt实例。 默认一个executor分配一个task。 可以设置worker数量，executor数量和task数量。编程IDEA 运行storm-st

Storm分布式实时计算模式1分布式单词计数并行度worker一个workder属于特定的topology。进程启动一个或多个executor。executor一个 executor 是由 worker 进程生成的一个线程。executor 中可能会有一个或者多个 task一个task位同一个组件服务spout/bolt。默认一个executor分配一个task。tasktask 是实

Storm编译运行1maven依赖下载Maven教程 - 更换镜像ubuntu eclipse 安装maven插件更换 Maven 镜像Maven 的官方镜像比较慢，建议使用其他网站提供的镜像，速度比较快国内访问repo1.maven.org访问不了，导致maven不能下载依赖，解决方法是自己设置maven的mirrors，就是设置镜像：在~/.m2/目录下建立一个settings.xml文件，内

Jstorm为什么启动Jstorm项目现有storm调度太简单粗暴，无法定制化雪崩问题一直没有解决监控太简单对ZK 访问频繁RPC OOM（OOM - Out of Memory，内存溢出 ——俗称雪崩问题）一直没有解决原生Storm RPC：Zeromq 使用堆外内存，导致OS 内存不够，Netty 导致OOM； JStorm底层RPC 采用netty + disruptor，保证发送

storm重要知识点关于Storm与JStorm的调度算法的讨论Storm 性能优化 例子图书 Storm技术内幕与大数据实践 192页Storm：大数据流式计算及应用实践storm1.0.0性能提升Storm 1.0.0说性能提升了16倍,延迟减少了60% 性能如何提升,提升了哪些方面?自动反压机制 反压介绍zoonkeeper 是瓶颈.Pacemaker - Heartb

调度资源感应调度器默认配置文件defaults.yamlResource_Aware_Scheduler_overview调度器EventScheduler：将系统中的可用资源均匀地分配给需要资源的topology，其实也不是绝对均匀，后续会详细说明DefaultScheduler：和EvenetScheduler差不多，只不过会先将其它topology不需要的资源重新收集起来，再进行Event

ceph cookbook可靠性 纠删码 缓存rbd接口块设备每一个块设备分布在多个ceph节点上. librbd库,RBD原生支持Linux内核.特性1) 可靠性,性能 2) 完整和增量快照 3) 自动精简配置 4) 写时复制克隆 5) 动态调整大小 6) 内存内缓存块设备可以和Cinder(块存储)和Glance(镜像)组件对接.检查内核对RBD支持sudo modpro

ceph重点安装时指定日志盘ceph-deploy osd HOST:DISK[:JOURNAL]ceph-deploy osd prepare 数据盘:日志盘ceph-deploy osd prepare --zap-disk objStor02:/dev/sdd:/dev/sdb在使用ceph-deploy osd prepare命令的对目标机器的磁盘进行格式化过程中，ceph-depl

红帽文档阅读redhat ceph 文档发布说明通过Ansible进行安装OSD BLUESTORE技术预览安装说明在redhat上安装ceph全局设置 [global] fsid = mon initial members = [, ] mon host = [, ] public network = [, ] cluster network = [, ]

storm learnJstormstorm java 实现JStorm 比Storm更稳定，更强大，更快， Storm上跑的程序，一行代码不变可以运行在JStorm上。Jstorm github封仲淹：Storm 2.0将会基于JStorm，阿里巴巴全程参与中文资料结论JStorm 0.9.0 在使用Netty的情况下，比Storm 0.9.0 使用Netty情况下，快10%， 并且JStorm

go语言并行与分布式软件工程支持编程哲学执行体go语言特性自动垃圾回收更丰富的内置类型函数多返回值错误处理匿名函数和闭包类型和接口并发编程反射语言交互性#环境的搭建yum -y install golanghello worldroot@122159d23f8e:~# cat hello.go package mainimport "fmt"func main(){

一台服务器同时运行一百个docker成为现实\ docker 基于go语言docker 1.10.3安装docker#centos 7 sudo yum install -y docker#启动服务sudo service docker start#安装最新的ubuntusudo docker pull ubuntusudo docker pull ubuntu:14.04sudo d

论文原始图片 程序说明,解释//对象x的CRUSH放置算procedure TAKE(a) // Put item a in working vector~i{ ~i←[a]}//end procedure procedure SELECT(n,t) // Select n items of type t { ~o←0 //输出结果o,开始为空 for i ∈~i do //遍

原文地址 CEPH CRUSH algorithm source code analysis http://www.shalandis.com/original/2016/05/19/CEPH-CRUSH-algorithm-source-code-analysis/文章比较深入的写了CRUSH算法的原理和过程.通过调试深入的介绍了CRUSH计算的过程.文章中添加了些内容.写在前面读本文前,

crush 核心函数crush_do_rule 位置crush/mapper.c重要过程 - crush_do_rule: do crushrules iteratively - crush_choose_firstn: choose buckets or devices of specified type recursively - crush_bucket_choose: direc