博客专栏  >  云计算/大数据   >  大数据开源框架

大数据开源框架

介绍大数据常用的开源框架,zookeeper、kafka、storm、hadoop,后续会添加spark相关知识。

关注
4 已关注
9篇博文
  • Storm新特性之Flux

    Storm新特性之FluxFlux是Storm版本0.10.0中的新组件,主要目的是为了方便拓扑的开发与部署。原先在开发Storm拓扑的时候整个拓扑的结构都是硬编码写在代码中的,当要对其进行修改时,需...

    2016-03-06 16:44
    2912
  • 分布式基础之二阶段提交

    分布式基础之二阶段提交二阶段提交(Two Phase Commit)在分布式事务处理中非常常见。它主要用来保证分布式事务处理的一致性,决定事务的提交或回滚。目前二阶段提交广泛应用于关系型数据库的分布式...

    2016-01-04 20:29
    1455
  • Storm异常之RuntimeException: Found multiple defaults.yaml resources

    今天在运行Storm与Kafka集成的Topology时抛出如下异常:java.lang.RuntimeException: Found multiple defaults.yaml resource...

    2015-12-28 14:43
    2443
  • Zookeeper集群的部署

    Zookeeper集群的部署标签(空格分隔): ZookeeperZooKeeper是一个开源的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop、Hbase、Kafk...

    2015-12-25 14:32
    1401
  • 在Ubuntu上部署Hadoop单节点

    在Ubuntu上部署Hadoop单节点安装Java环境Hadoop框架是依赖Java环境的,直接用最简单的方式,直接安装OpenJDK。# 更新一下源列表 fish@hadoop:~$ sudo ap...

    2015-12-01 23:35
    536
  • Kafka基础概念

    Kafka基础概念前言最近项目中要使用到流式数据处理,借此机会学习一下Kafka的相关知识。简介Apache Kafka是一个分布式的、分区的、可重复提交的日志系统。它以独特的设计提供了消息系统的功能...

    2015-12-08 21:22
    1152
  • Kafka实战

    Kafka实战实验环境为Ubuntu。安装Kafka的安装非常简单,只需要下载解压就可以了。需要注意的是Kafka依赖于Java环境,所以确保你的系统中装有JDK。//安装sun默认JDK drfis...

    2015-12-09 09:06
    2293
  • Kafka实战二

    Kafka实战二前言在上一章 Kafka实战 中我们在局域网中搭建了一个Kafka节点,并尝试了通过命令行脚本来实现本地消息的发布与接收,了解了主从节点之间的关系等。这一章主要实现在本机通过Java代...

    2015-12-14 22:16
    1149
  • Kafka系统工具

    Kafka系统工具前言Kafka为我们提供了很多有用的系统工具,这些工具都放在kafka.tools包中。这些工具可以帮助管理Kafka节点与集群。

    2015-12-16 15:33
    1003

Java进阶
618234
Python大法好
1523134
LeetCode Python
167220387
img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部