![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 92
「已注销」
这个作者很懒,什么都没留下…
展开
-
HBase Metrics机制、架构
HBase MetricsHBase Metrics是一种监控信息实时收集机制。它负责收集的信息有:功能性信息(Compaction Queue、Store Files个数等)JVM使用信息 (Heap Memory 的变化)rpc访问信息借助与Hadoop Metrics同样的方式,向Ganglia汇报。Ganglia is a scalable distrib...原创 2013-11-13 11:49:24 · 902 阅读 · 0 评论 -
HBase存储结构
一、 Hbase存储框架 图1 Hbase存储架构图 1、 结构HBase中的每张表都通过行键按照一定的范围被分割成多个子表(HRegion),默认一个HRegion超过256M就要被分割成两个,由HRegionServer管理,管理哪些HRegion由HMaster分配。HRegionServer存取一个子表时,会创建一个HRegion对象,...原创 2013-10-13 17:33:33 · 166 阅读 · 0 评论 -
zookeeper应用场景
Zookeeper的主流应用场景实现思路(除去官方示例) (1)配置管理集中式的配置管理在应用集群中是非常常见的,一般商业公司内部都会实现一套集中的配置管理中心,应对不同的应用集群对于共享各自配置的需求,并且在配置变更时能够通知到集群中的每一个机器。Zookeeper很容易实现这种集中式的配置管理,比如将APP1的所有配置配置到/APP1 znode下,APP1所有机器一启动就对/APP1这个节...原创 2013-10-13 23:12:59 · 171 阅读 · 0 评论 -
HDFS读写 DataNode NameNode
HDFSHDFS client 分析客户端的功能今天开始分析HDFS源代码,首先从HDFS的client端分析。对于分布式文件系统,Client端的功能,就是接收用户的请求,通过网络,与 NameNode 和 DataNode交互。首先确定的是,client端是一个hdfs提供的lib库,用户的应用程序需要包含该库,调用该库提供的函数来访问NameNode和DataNode...原创 2013-10-13 23:45:02 · 271 阅读 · 0 评论 -
hadoop作业提交 初始化
下面我们来熟悉一下MapReduce作业的提交和初始化的过程: 作业的提交过程 第一步,使用Hadoop提供的shell命令提交作业,命令行作业提交命令:Java代码 $HADOOP_HOME/bin/hadoop jar job.jar \ -D mapred.job.name="task-test" \ ...原创 2013-10-14 07:52:23 · 151 阅读 · 0 评论 -
Hadoop MapTask / ReducerTask
学习MapTask的内部实现。 整体执行流程 如上图示,MapTask的整个处理流程分五个阶段: ●read阶段:通过RecordReader从InputSplit分片中将数据解析成一个个key/value。 ●map阶段:将由RecordReader解析出的key/value交给map()方法处理,并生...原创 2013-10-14 08:03:27 · 139 阅读 · 0 评论 -
zkClient
直接使用zk的api实现业务功能比较繁琐。因为要处理session loss,session expire等异常,在发生这些异常后进行重连。又因为ZK的watcher是一次性的,如果要基于wather实现发布/订阅模式,还要自己包装一下,将一次性订阅包装成持久订阅。另外如果要使用抽象级别更高的功能,比如分布式锁,leader选举等,还要自己额外做很多事情。这里介绍下ZK的第三方客户端包装小工具,...原创 2013-10-17 12:44:01 · 78 阅读 · 0 评论 -
hadoop体系结构(转)
简介Hadoop Distributed File System(HDFS)是一个运行在商用硬件平台上的分布式文件系统。它和很多现存的分布式文件系统有很多相似之处。当然,和其他的分布式文件系统的区别也是很明显的。HDFS在廉价硬件平台上提供高可靠的文件服务,提供数据访问的高吞吐量,适合那些运行在大数据集上的应用。HDFS并不完全符合POSIX文件系统方面的标准,这是因为HDFS运行环境和P...原创 2013-11-01 08:47:10 · 131 阅读 · 0 评论