FHDFS搭建指南

F :   freestyle

HDFS:  Hadoop分布式文件系统

FHDFS ： 花式Hadoop分布式文件系统

ZooKeeper主要应用在分布式系统中，连接不同的主机节点，我的理解是ZooKeeper这个东西就像建立在分布式系统、hadoop或HBase之上的一个国家机器， 高度集权，同步管理各个节点

我们知道，Linux系统是一个可以多用户同时操作的系统，在一个系统上可以 多用户 同时远程连接操作这台主机。但每个用户的访问权限在未经chmod的前提下都会受到限制，即该用户无法访问其他用户的所属文件，所以，我认为，在多用户同时操作一台主机时，多个用户之间的同步问题是有缺陷的。

我想， 可不可以在一台主机上创建多个用户，在这多个用户之间搭起一个ZooKeeper集群，来进行集中管理 ？（绝对不是传说中的伪分布式，因为跨用户操作，每个用户所运行的进程不相同）

虽然具体应用场景还没想清楚，但都 不管了，撸起袖子加油干！

我的三台主机分别是kate, andy, lucky

我在lucky上useradd了三个普通用户，分别叫lisa,parker,young

先把zokeeper包分别放到三个用户的家目录下

然后配置/etc/profile文件

第一道坎

在三个用户任意一个用户上启动zk

诡异的是既然没有启动该进程，jps之后，没有任何进程,但输入zkCli.sh之后，竟然可以进入，查看节点，发现连上了原有的ZooKeeper集群

几经波折，从zookeeper的log文件中看到了“无法连接”的异常，发现当三个zoo.cnf文件配置完全相同时，出现了端口抢占的问题，即一台主机的同一个端口，三个用户同时使用的话，只有一个用户会抢占成功

然后开始修改端口

第二道坎

都配好后发现依然无法连接

将其中任意一个用户的（lisa）的cilentPort改成2181

使用测试，增加节点成功

在lisa，parker，young三个用户上开始搭建hadoop集群

1.修改权限文件的读写权限,给用户lisa, parker, young分别赋予root权限

（root用户下执行）

vim    /etc/sudoers

2.免密钥登录

三个用户lisa,parker,young要分别生成自己的公钥和私钥，然后将主节点lisa的公钥文件authorized_keys追加到parker用户和young用户的authorizd_keys上

     （ssh-keygen -t rsa

         cp id_rsa.pub authorized_keys

          scp authorized_keys parker@lucky:~/.ssh/a

          cat a >> authorized_keys）

3.安装JDK

所有用户公用/usr/java下的JDK,所以不用各自安装

主要是配置~/.bash_profile文件，添加环境变量

4.从任意一台机器将配好的hadoop包分别发送给lisa用户、parker用户和young用户,分别存放在他们各自的家目录下

5.修改hadoop配置文件

hadoop-env.sh文件和yarn-env.sh文件主要不用修改（所有用户的JDK路径相同）

hdfs-site.xml也不用配

配置核心组件 core-site.xml的两个value值

yarn-site.xml把主机名修改成lucky

6.将hadoop的环境变量分别写入三个用户的.bash_profile文件，并source

退而求其次，干脆在三台主机上的不同用户之间分别搭建hadoop，分别搭建HBase，然后用一个ZooKeeper连起来

经过反复尝试，最终搭建成功，效果图如下