![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 53
大数据开发
励志成为未来大数据开发的领军人物!
展开
-
hadoop的安装与配置方法详解
1、概述Hadoop安装分为三种方式,分别为单机、伪分布式、完全分布式,安装过程不难,在此主要详细叙述完全分布式的安装配置过程,毕竟生产环境都使用的完全分布式,前两者作为学习和研究使用。按照下述步骤一步一步配置一定可以正确的安装Hadoop分布式集群环境。2、Hadoop分布式集群搭建2.1、软件准备2.2、环境准备2.3、操作步骤配置hosts说明:配置hosts文件的作用,主要用于确定每个节点...转载 2017-02-24 09:23:20 · 3384 阅读 · 0 评论 -
HDFS的架构
• NameNode主节点– 管理文件系统的命令空间和客户端的访问请求– NameNode对命令空间的操作包括opening, closing和renaming文件或者文件夹• DataNode从节点– 管理该节点上的存储数据块– DataNode对数据块执行creation, deleting的操作‼ Note: 客户端对文件系统的操作就像操作一个Linux系统一样,原创 2017-03-09 15:15:32 · 292 阅读 · 0 评论 -
hadoop HA
HDFS HA– 为了保证standby节点与active节点之间数据的同步,两个节点会与另一组服务集群“journalNodes” (JNs)进行通信• 当active节点对命名空间做任何改动时,操作日志会被记录到超过半数的JournalNode上• standby节点会去JournalNode上读取这些日志– 集群当中只能有一个activeNameNode,这对集群的正常运原创 2017-03-09 16:08:27 · 260 阅读 · 0 评论 -
Hadoop生态的四层架构以及大数据技术发展五大演进趋势
大数据技术发展五大演进趋势• 混合架构将消失• 固态硬盘将替代内存作为缓存• 实时大数据技术得到关注• 云计算拥抱大数据• 存储统一化原创 2017-03-11 21:20:02 · 4103 阅读 · 2 评论 -
Namenode HA原理详解(脑裂)
为什么要Namenode HA?1. NameNode High Availability即高可用。2. NameNode 很重要,挂掉会导致存储停止服务,无法进行数据的读写,基于此NameNode的计算(MR,Hive等)也无法完成。 Namenode HA 如何实现,关键技术难题是什么?1. 如何保持主和备NameNode的状态同步,并让Standby在转载 2017-03-25 21:33:05 · 550 阅读 · 0 评论 -
Hbase 总结
转自:http://blog.csdn.net/u010270403/article/details/51648462HBase简介HBase的发展史2006年底由PowerSet 的Chad Walters和Jim Kellerman 发起,2008年成为Apache Hadoop的一个子项目。现已作为产品在多家企业被使用,如:WorldLingoStreamy.转载 2017-05-04 15:33:46 · 730 阅读 · 0 评论