![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 74
你的阿飞哥哥
这个作者很懒,什么都没留下…
展开
-
Hadoop2.0.3-alpha包结构分析
Hadoop2.0的目录结构:Hadoop2.0的目录结构很像Linux操作系统的目录结构,各个目录的作用如下: (1) 在新版本的hadoop中,由于使用hadoop的用户被分成了不同的用户组,就像Linux一样。因此执行文件和脚本被分成了两部分,分别存放在bin和sbin目录下。存放在sbin目录下的是只有超级用户(superuser)才有权限执行的脚本,比如star原创 2013-03-20 14:12:00 · 1036 阅读 · 0 评论 -
hadoop+hbase+zookeeper环境搭建过程总结
安装的环境要求:我用的是x86_64的CentOS6.3 linux操作系统,安装过程很简单,一路默认即可。 搭建开发环境是学习一门新技术的首先要面对的,当然技术的选型也是相当重要,刚开始搭建环境的时候公司让用cloudera manager CDH4自动在cloudera官网下载安装hadoop、hbase、zookeeper等,但是这个过程在网速不好的情况下是相当的缓慢。(在天朝原创 2013-03-27 10:23:05 · 4467 阅读 · 5 评论 -
Cloudera Manager和CDH4的安装
Cloudera Manager和CDH4的安装Cloudera Manager安装1. ClouderaManager的安装需要先修改机器的三个配置:l 关闭防火墙:service iptables stop;l 关闭selinux:setenforce 0或修改/etc/selinux/config:SELINUX=disabled;l 配置代理:在/et原创 2013-03-04 16:50:33 · 3157 阅读 · 1 评论 -
cdh4.2.0源码搭建hadoop+hbase+zookeeper开发环境
1. 准备工作(1) 首先在cloudera的官网上下载CDH4的hadoop-2.0.0-cdh4.2.0、hbase-0.94.2-cdh4.2.0、zookeeper-3.4.5-cdh4.2.0的tar包(2) 在安装hbase开发环境之前,先安装好java开发环境,配置好环境变量(3) 准备三台主机,在用vi 打开/etc/sysconfig/network原创 2013-03-27 14:19:48 · 2209 阅读 · 0 评论 -
基于QJM/Qurom Journal Manager/Paxos的HDFS HA原理及代码分析
转载 http://yanbohappy.sinaapp.com/?p=205HDFS HA的解决方案可谓百花齐放,Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quorum Journal Manager, BackupNode等等。目前普遍采用的是shard NAS+NFS,因为简单易用,但是需要提供一个HA的共享存储设备。而转载 2013-05-13 16:07:18 · 2374 阅读 · 0 评论 -
hadoop namenode 高可用(HA)搭建指南 QJM方式
一、HDFS的高可用性1.概述 本指南提供了一个HDFS的高可用性(HA)功能的概述,以及如何配置和管理HDFS高可用性(HA)集群。本文档假定读者具有对HDFS集群的组件和节点类型具有一定理解。有关详情,请参阅Apache的HDFS的架构指南。http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-s原创 2013-05-13 15:51:11 · 12609 阅读 · 0 评论