大数据
文章平均质量分 83
gavinfish
在校大学生,软件专业
展开
-
Storm异常之RuntimeException: Found multiple defaults.yaml resources
今天在运行Storm与Kafka集成的Topology时抛出如下异常:java.lang.RuntimeException: Found multiple defaults.yaml resources at backtype.storm.utils.Utils原创 2015-12-28 14:43:13 · 5441 阅读 · 1 评论 -
分布式基础之二阶段提交
分布式基础之二阶段提交二阶段提交(Two Phase Commit)在分布式事务处理中非常常见。它主要用来保证分布式事务处理的一致性,决定事务的提交或回滚。目前二阶段提交广泛应用于关系型数据库的分布式事务处理中,它是分布式系统中的一个常见协议。需求为什么要二阶段提交?因为在分布式系统中,每个节点只知道自己的事务是否执行成功了,而分布式系统要求一致性,也就是所有的节点的状态都应该一致。如果某一个事务只原创 2016-01-04 20:29:06 · 2107 阅读 · 1 评论 -
大数据常用技巧之位图法
大数据常用技巧之位图法介绍位图的基本概念是用一个位(bit)来标记某个数据的存放状态,由于采用了位为单位来存放数据,所以节省了大量的空间。举个具体的例子,在Java中一般一个int数字要占用32位,如果能用一位就表示这个数,就可以缩减大量的存储空间。一般把这种方法称为位图法,即Bitmap。BitSet正因为位图运算在空间方面的优越性,很多语言都有直接对它的支持。如在C++的STL库中就有一个bit原创 2015-12-07 21:27:55 · 10575 阅读 · 1 评论 -
Zookeeper集群的部署
Zookeeper集群的部署标签(空格分隔): ZookeeperZooKeeper是一个开源的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop、Hbase、Kafka等流行开源框架的重要组件。以下实验环境为Ubuntu14.04,局域网内的三台普通计算机,虚拟机可以进行相同的配置。原创 2015-12-25 14:32:51 · 1726 阅读 · 1 评论 -
Storm新特性之Flux
Storm新特性之FluxFlux是Storm版本0.10.0中的新组件,主要目的是为了方便拓扑的开发与部署。原先在开发Storm拓扑的时候整个拓扑的结构都是硬编码写在代码中的,当要对其进行修改时,需要修改代码并重新编译和打包,这是一件繁琐和痛苦的事情,Flux解决了这一问题。原创 2016-03-06 16:44:08 · 4538 阅读 · 4 评论