- 博客(14)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 1MySql学习
MySql 学习<重要设置关闭 safe update modeSET SQL_SAFE_UPDATES = 0;存储引擎选择查看数据库支持的存储引擎show engines;更改存储引擎Alter table tableName engine =engineName存储引擎InnoDBMRG_MYISAMMEMORYBLACKHOLEMyISAMCSVARCHIVEPERFO
2017-04-09 16:14:24
1041
1
原创 从零开始学Storm
从零开始学StormStorm简介学习1基本知识应用方向:流处理连续计算分布式RPCstorm-state 管理大量的内存状态0.8 版本引入State2拓扑详解TopologyBuilder3组件详解Map conf Storm配置IComponent 所有组件的接口void declareOutputFields(OutputFieldsDeclarer declarer)
2017-04-09 16:12:12
1959
原创 storm知识点
storm知识点关于Storm与JStorm的调度算法的讨论Storm 性能优化 例子图书 Storm技术内幕与大数据实践 192页Storm：大数据流式计算及应用实践storm1.0.0性能提升Storm 1.0.0说性能提升了16倍,延迟减少了60% 性能如何提升,提升了哪些方面?自动反压机制 反压介绍zoonkeeper 是瓶颈.Pacemaker - Heartbea
2017-04-09 16:11:55
809
原创 Storm实战_构建大数据实时计算
Storm实战 构建大数据实时计算ZeroMQsudo yum install maven1简介使用场景实时分析在线机器学习持续计算分布式RPCETL 保证每个消息都得到处理,速度快每个节点每秒百万次消息.实体工作进程:每台机器上多个exector:每个进程多个任务:每个exector多个任务 spot boltstorm 0.7版本引入事物拓扑解决,严格要求每个事物仅处理一次.
2017-04-09 16:11:37
1553
原创 Storm技术内幕与大数据实践
Storm技术内幕与大数据实践笔记周健华 2016年10月序LinnkdIn 基于Kafka 开发了,Samza用于实时新闻推送,广告和复杂监控.1号店使用经验.1绪论Nimbus 和 Supervisor 通信通过ZooKeeper完成.storm 0.8版本开始executor为具体物理线程. 同一个spout/bolt的task可能会共享一个物理线程.Apache kafka 消息队列
2017-04-09 16:11:11
1546
原创 Storm工具及命令
Storm开发问题:消息处理 best effort方式. 可靠性 Guaranteeing Message Processing并行度一个进程属于特定的topology。 进程启动一个或多个线程。 一个task认为是一个spout或者bolt实例。 默认一个executor分配一个task。 可以设置worker数量，executor数量和task数量。编程IDEA 运行storm-st
2017-04-09 16:10:53
1434
原创 Storm分布式实时计算模式
Storm分布式实时计算模式1分布式单词计数并行度worker一个workder属于特定的topology。进程启动一个或多个executor。executor一个 executor 是由 worker 进程生成的一个线程。executor 中可能会有一个或者多个 task一个task位同一个组件服务spout/bolt。默认一个executor分配一个task。tasktask 是实
2017-04-09 16:10:36
2550
原创 maven使用
Storm编译运行1maven依赖下载Maven教程 - 更换镜像ubuntu eclipse 安装maven插件更换 Maven 镜像Maven 的官方镜像比较慢，建议使用其他网站提供的镜像，速度比较快国内访问repo1.maven.org访问不了，导致maven不能下载依赖，解决方法是自己设置maven的mirrors，就是设置镜像：在~/.m2/目录下建立一个settings.xml文件，内
2017-04-09 16:09:56
505
原创 Jstorm
Jstorm为什么启动Jstorm项目现有storm调度太简单粗暴，无法定制化雪崩问题一直没有解决监控太简单对ZK 访问频繁RPC OOM（OOM - Out of Memory，内存溢出 ——俗称雪崩问题）一直没有解决原生Storm RPC：Zeromq 使用堆外内存，导致OS 内存不够，Netty 导致OOM； JStorm底层RPC 采用netty + disruptor，保证发送
2017-04-09 16:09:25
956
原创 1storm知识汇总
storm重要知识点关于Storm与JStorm的调度算法的讨论Storm 性能优化 例子图书 Storm技术内幕与大数据实践 192页Storm：大数据流式计算及应用实践storm1.0.0性能提升Storm 1.0.0说性能提升了16倍,延迟减少了60% 性能如何提升,提升了哪些方面?自动反压机制 反压介绍zoonkeeper 是瓶颈.Pacemaker - Heartb
2017-04-09 16:08:51
503
原创 Storm调度
调度资源感应调度器默认配置文件defaults.yamlResource_Aware_Scheduler_overview调度器EventScheduler：将系统中的可用资源均匀地分配给需要资源的topology，其实也不是绝对均匀，后续会详细说明DefaultScheduler：和EvenetScheduler差不多，只不过会先将其它topology不需要的资源重新收集起来，再进行Event
2017-04-09 16:08:34
2175
原创 cookbook
ceph cookbook可靠性 纠删码 缓存rbd接口块设备每一个块设备分布在多个ceph节点上. librbd库,RBD原生支持Linux内核.特性1) 可靠性,性能 2) 完整和增量快照 3) 自动精简配置 4) 写时复制克隆 5) 动态调整大小 6) 内存内缓存块设备可以和Cinder(块存储)和Glance(镜像)组件对接.检查内核对RBD支持sudo modpro
2017-04-09 16:05:26
553
原创 cephlearn
ceph重点安装时指定日志盘ceph-deploy osd HOST:DISK[:JOURNAL]ceph-deploy osd prepare 数据盘:日志盘ceph-deploy osd prepare --zap-disk objStor02:/dev/sdd:/dev/sdb在使用ceph-deploy osd prepare命令的对目标机器的磁盘进行格式化过程中，ceph-depl
2017-04-09 16:04:36
1019
原创 redhatDocument
红帽文档阅读redhat ceph 文档发布说明通过Ansible进行安装OSD BLUESTORE技术预览安装说明在redhat上安装ceph全局设置 [global] fsid = mon initial members = [, ] mon host = [, ] public network = [, ] cluster network = [, ]
2017-04-09 16:03:54
488
ceph 原理 内容 总结
2016-05-23
pack2alpha1 背包问题9讲
2016-03-15
数学之美 吴军 pdf
2014-11-11
rsync源代码
2014-10-25
机器学习实战.pdf
2014-10-22
SecureCRTSecureFX 中文版
2014-10-18
西工大汇编实验 软件延时器
2013-12-01
西工大 汇编实验 实验四 排序程序
2013-12-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人