- 博客(5)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Yarn产生的历史背景
Yarn产生的历史背景 Hadoop是apache基金会的一个项目， 目的是开发一个开源软件，用于可靠的可扩展的，分布式的计算。 Hadoop不是一个软件，而是一个软件库，hadoop作为一个软件库，提供了一个框架，可以以分布式的方式，在集群的多台主机之间，使用简单的编程模型来处理大量的数据集。Hadoop被设计成可以从单主机扩展到数千台主机，并且支持本地计算和存储。
2016-06-30 21:49:57
945
原创 HDFS的主要设计理念
一、HDFS的主要设计理念1、存储超大文件这里的“超大文件”是指几百MB、GB甚至TB级别的文件。2、最高效的访问模式是 一次写入、多次读取(流式数据访问)HDFS存储的数据集作为hadoop的分析对象。在数据集生成后，长时间在此数据集上进行各种分析。每次分析都将设计该数据集的大部分数据甚至全部数据，因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。3、运行在普通廉价的服务器上HDFS设
2016-06-30 15:12:59
4029
转载 想比较传统消息系统,kafka可以很好的保证有序性～
传统的队列在服务器上保存有序的消息，如果多个consumers同时从这个服务器消费消息，服务器就会以消息存储的顺序向consumer分发消息。虽然服务器按顺序发布消息，但是消息是被异步的分发到各consumer上，所以当消息到达时可能已经失去了原来的顺序，这意味着并发消费将导致顺序错乱。为了避免故障，这样的消息系统通常使用“专用consumer”的概念，其实就是只允许一个消费者消费消息，当然这就意味
2016-06-17 10:29:14
7609
原创 hbase配置哈环境时遇到的问题
1，master.HMasterCommandLine: Master exiting日志中的错误信息：2016-06-13 20:41:51,409 ERROR [main] master.HMasterCommandLine: Master exitingjava.lang.RuntimeException: Failed construction of Master: class org.a
2016-06-14 10:11:27
2605
原创 传统的HDFS单Namenode架构的局限性
先来看看几个基本概念： 1.Namespace（命名空间）： 1）.有目录文件以及block组成 2）.他支持所有对于命名空间相关系统的操作，如增删改查。 2.Block Storage Service （快存储服务）有两个部分 1）.管理Block（在NameNode中完成） a.通过控制注册以及阶段性的心跳，来保证DataNode在正确运行
2016-06-01 22:46:05
3005
apache-storm-0.9.2-incubating.tar.gz
2016-04-22
python @age.setter 装饰器 怎么用p.age=1调用不了
2016-03-29
TA创建的收藏夹 TA关注的收藏夹
TA关注的人