- 博客(21)
- 收藏
- 关注
RSS订阅转载 Flume-ng+Kafka+storm的学习笔记
http://blog.csdn.net/zxcvg/article/details/18600335
2015-07-17 14:59:16
583
转载 Storm-0.9.0.1安装部署 指导
http://www.aboutyun.com/thread-6854-1-1.html可以带着下面问题来阅读本文章：1.Storm只支持什么传输2.通过什么配置，可以更改Zookeeper默认端口3.Storm UI必须和Storm Nimbus部署在同一台机器上，UI无法正常工作为什么2.Storm-0.9.0.1大概经过几个步骤Twitter Stor
2015-07-15 18:05:34
707
转载 Storm 配置说明
什么是Storm?Storm是twitter开源的一套实时数据处理框架，基于该框架你可以通过简单的编程来实现对数据流的实时处理变换。Storm的配置文件一般存放在$STORM_HOME/conf下，通常名为storm.yaml，它符合yaml格式要求。配置项详解:以下是从storm的config类中搜集的所有storm支持的配置项(Based storm 0.6.0
2015-07-15 18:02:31
466
转载 HDFS HA-Quorum Journal Manager
http://www.binospace.com/index.php/hdfs-ha-quorum-journal-manager/?utm_source=tuicool1、背景HDFS HA，即NameNode单点故障问题，一直是关系到HDFS稳定性最为重要的特性。之前Hadoop0.23初探系列文章中，介绍了HDFS的Federeation概况、配置与部署的情况，以及有关H
2015-07-13 15:03:03
760
转载 zookeeper原理（转）
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee
2015-07-13 14:59:30
617
转载 zookeeper使用和原理探究（一）
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。 zookeeper安装和使用zookeeper的安装基本上可以按照 http://hadoop.apache.org/zookeeper/doc
2015-07-13 14:58:27
491
转载 Kafka设计解析（三）：Kafka High Availability （下）
http://www.infoq.com/cn/articles/kafka-analysis-part-3?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_articles_clk Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和
2015-07-13 14:57:01
692
转载 Kafka设计解析（二）：Kafka High Availability （上）
http://www.infoq.com/cn/articles/kafka-analysis-part-2?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_articles_clk Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个B
2015-07-13 14:56:13
517
转载 Kafka剖析（一）：Kafka背景及架构介绍
http://www.infoq.com/cn/articles/kafka-analysis-part-1/Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“K
2015-07-13 14:55:21
861
转载 大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合
个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章：1.一个好的项目架构应该具备什么特点？2.本项目架构是如何保证数据准确性的？3
2015-07-13 14:52:42
650
转载 用Apache Kafka构建流数据平台
近来，有许多关于“流处理”和“事件数据”的讨论，它们往往都与像Kafka、Storm或Samza这样的技术相关。但并不是每个人都知道如何将这种技术引入他们自己的技术栈。于是，Confluent联合创始人Jay Kreps发布了《流数据平台构建实战指南》。他结合自己过去五年中在LinkedIn构建Apache Kafka的经验，介绍了如何构建一个公司范围的实时流数据中心。他们将该实时流数
2015-07-13 14:48:14
918
原创 zookeeper 入门讲解实例 转
转 http://www.blogjava.net/BucketLi/archive/2010/12/21/341268.htmlzookeeper使用和原理探究（一）zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的<The Chubby lock service for loos...
2015-07-07 17:58:40
117
原创 用Apache Kafka构建流数据平台
http://www.infoq.com/cn/news/2015/03/apache-kafka-stream-data?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_articles_clk 近来，有许多关于“流处理”和“事件数据”的讨论，它们往往都与像Kaf...
2015-07-07 14:43:10
155
原创 大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合
http://www.aboutyun.com/thread-6855-1-1.html个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章...
2015-07-07 14:42:57
141
原创 Flume-ng+Kafka+storm的学习笔记
http://blog.csdn.net/zxcvg/article/details/18600335/Flume-ngFlume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html 官方的英文文档 介绍的比较全面。 不过这里写写自己...
2015-07-07 14:42:36
126
原创 Kafka设计解析（三）：Kafka High Availability （下）
http://www.infoq.com/cn/articles/kafka-analysis-part-3?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_articles_clk Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可...
2015-07-06 16:04:42
252
原创 Kafka设计解析（二）：Kafka High Availability （上）
http://www.infoq.com/cn/articles/kafka-analysis-part-2?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_articles_clk Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一...
2015-07-06 16:01:40
114
原创 Kafka剖析（一）：Kafka背景及架构介绍
http://www.infoq.com/cn/articles/kafka-analysis-part-1/Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Ka...
2015-07-06 15:59:40
91
原创 HDFS HA-Quorum Journal Manager
http://www.binospace.com/index.php/hdfs-ha-quorum-journal-manager/?utm_source=tuicool1、背景HDFS HA，即NameNode单点故障问题，一直是关系到HDFS稳定性最为重要的特性。之前Hadoop0.23初探系列文章中，介绍了HDFS的Federeation概况、配置与部署的情况，以及有关HA的相关概...
2015-07-06 15:56:06
184
原创 zookeeper原理（转）
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zooke...
2015-07-06 15:54:22
86
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人