三台节点配置hadoop



Ssh互信建立完成以后，接下来咱们开始搭建hadoop

1. 从ApacheDownload Mirrors下载haoop-2.6.0.

2. 从JavaSE - Downloads | Oracle Technology Network | Oracle下载jdk,我下载的是1.8.0_25x86和1.8.0_25x64因为我的三台主机两台ubuntu是32位的，另一台是64位的，所以下载了两个。如果要看自己ubuntu是多少位的：file /sbin/init

   下载完成后，在home下面建目录cloud,把压缩包解压到该文件夹

   执行sudo gedit /etc/profile配置JAVA环境：在最后面

   #set java environment

   JAVA_HOME=/home/yuchengcan/cloud/jdk1.8.0_25

   exportJRE_HOME=/home/yuchengcan/cloud/jdk1.8.0_25/jre

   exportCLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

   exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

   执行source /etc/profile

      jdk安装完成

1. 在home下建立文件夹hadoop将压缩包解压进去

2. Sudo chmod –R777 hadoop

3. 修改环境变量信息

   /Hadoop-2.6.0/etc/hadoop 下hadoop-env.sh

4. Hadoop伪分布设置：

   对配置参数有疑惑参考：ApacheHadoop 2.6.0 - Hadoop Map Reduce Next Generation-2.6.0 - Cluster Setup

   /Hadoop-2.6.0/etc/Hadoop 下

1. 修改配置文件core-site.xml

    

   Hadoop.tmp.dir: Hadoop的默认临时路径（tmp需要提前建）

2. 修改配置文件hdfs-site.xml（分布式文件系统）

   第一个性质栏目：数据需要备份的数量（node1 node3）

   第二个性质栏目：指定命名节点目录，也就是masters  node20

   第三个性质栏目：指定数据节点目录，也就是slaves    node1 node3

   (dfs data name文件夹需要提前建立)

3. 修改配置文件mapred-site（mapreduce）

4. Masters(没有的话添加)

   删去localhost  填写node20(举例)

5. Slaves

   删去 localhost  填写node1 node3

1. Scp Hadoop-2.6.0 node1:/tmp

   Scp Hadoop-2.6.0 node3:/tmp

      保证每个节点的hadoop相同

     

文件配置完成，初始化文件系统：

在/Hadoop-2.6.0  下/bin/hdfs namenode  -format

1. 开启namnode等进程

   Sbin/start-dfs.sh

   jps

2. 查看集群状态：

   Hadoop dfsadmin  -report

 

       下来看看我的一些错误:

1. 目的文件夹没有写权限

   改正：先转到tmp再拷贝过去

2. 配置文件tmp与dfs的路径弄错：

3. 64位的ubuntu装了32位的jdk，启动不起来：

   下载x64jdk