ubuntu14.04.4 LTS系统搭建Hadoop集群

1、下载虚拟机以及ubuntu系统
ubuntu系统下载地址：64位 （下载地址：https://www.ubuntu.com/download/desktop）
查询系统版本以及位数：
一、查看操作系统是32位的还是64位的
在控制台输入：sudo uname --m   
回车后：
如果显示i686,则表示安装了32位操作系统
如果显示 x86_64，则表示安装了64位操作系统


二、查看操作系统的版本号：
cat /etc/issue
比如输出：Ubuntu 14.04.4 LTS \n \l


2、下载并安装jdk1.8
设置本机和虚拟机的共享文件夹，启动ubuntu，现在再看/mnt目录，已经存在文件夹hgfs，而且里面有共享文件夹。/mnt/hgfs/shareUbuntu


复制jdk 到 usr/local/java 路径，如果不存在那么新建文件夹 java 


然后解压tar包： tar -zxvf  压缩包


然后重命名 sudo mv jdk1.8.0_71/jdk8


设置java home路径：
5.配置环境变量 
执行命令：vim ~/.bashrc 
点击字母i，进入到编辑状态，在底部加入以下命令
export JAVA_HOME=/usr/lib/java/jdk8  


export JRE_HOME=${JAVA_HOME}/jre   


export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib   


export PATH=${JAVA_HOME}/bin:$PATH
点击退出键Esc进入到命令模式，按下:wq保存并且退出，注意此命令有冒号。然后执行命令：source .bashrc使配置生效即可 
按ESC键 跳到命令模式，然后：






:
:w   保存文件但不退出vi
:
:w file 将修改另外保存到file中，不退出vi
:
:w!   强制保存，不推出vi
:
:wq  保存文件并退出vi
:
:wq! 强制保存文件，并退出vi
q
q:  不保存文件，退出vi
:
:q! 不保存文件，强制退出vi
:
:e! 放弃所有修改，从上次保存文件开始再编辑
apt-get install openjavac
vim /etc/profile
sourse /etc/profile


master ip地址:   192.168.80.128
node1 ip地址  ： 192.168.80.129
node2 ip地址  ： 192.168.80.130



1、新建用户组
sudo groupadd hadoop
2、添加用户hduser 到hadoop组
sudo useradd -s /bin/bash -d /home/hduser -m hduser -g hadoop
3、新用户修改登录密码，输入2遍确认
sudo passwd hduser
4、赋予hduser用户admin权限
sudo adduser hduser sudo


三、配置ssh免密码连入
dpkg --list|grep ssh
如果缺少了opensh-server，需要进行安装。
sudo apt-get install openssh-server
问题：用户名 不在 sudoers文件中，此事将被报告。
sudo命令可以让你以root身份执行命令，来完成一些我们这个帐号完成不了的任务。
其实并非所有用户都能够执行sudo，因为有权限的用户都在/etc/sudoers中呢。
我们可以通过编辑器来打开/etc/sudoers，或者直接使用命令visudo来搞定这件事情。
打开sudoers后，像如下那样加上自己的帐号保存后就可以了。
[plain] view plain copy
# User privilege specification  
root    ALL=(ALL:ALL) ALL  
linc    ALL=(ALL:ALL) ALL  


sudoers的权限是0440，即只有root才能读。在你用root或sudo后强行保存（wq!）即可。
问题2：
linux新建用户，切换后只显示$的问题，而且有些命令也使用不了，解决方法如下。
root@ubuntu:~# cat /etc/passwd


最后一行
jiang:x:1003:1003::/usr/jiang:/bin/sh
默认的shell为/bin/sh
改为bash
root@ubuntu:~# vi /etc/passwd
jiang:x:1003:1003::/usr/jiang:/bin/bash

hduser$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa


用hduser用户建立 .ssh文件夹 修改文件的权限所有者为 hduser 组为hadoop
chown hduser hduser/
chgrp hadoop hduser/


将公钥加入到已认证的key
 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys


is_dsa.pub
不要加空格！！！
scp hduser@master:/home/hduser/.ssh/id_rsa.pub /home/hduser/.ssh/node1_dsa.pub
 cat ~/.ssh/node1_dsa.pub >> ~/.ssh/authorized_keys

五、配置 /etc/hadoop目录下的几个文件及 /etc/profile
主要有这5个文件需要修改：
1、~/etc/hadoop/hadoop-env.sh
配置java_home : /usr/lib/jvm/jdk1.8.0_71
2、~/etc/hadoop/core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>    修改master为192.168.80.128
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hduser/hadoop/hadoop2.7.5/tmp</value>
        <description>Abase for other temporary   directories.</description>
    </property>
</configuration>


3、~/etc/hadoop/hdfs-site.xml
<configuration>
      <property>
             <name>dfs.name.dir</name>
             <value>/home/hduser/hadoop/hadoop2.7.5/name</value>
             <final>true</final>
       </property>
      <property>
              <name>dfs.data.dir</name>
              <value>/home/hduser/hadoop/hadoop2.7.5/data</value>
              <final>true</final>
       </property>
       <property>
               <name>dfs.replication</name>
               <value>2</value>
               <final>true</final>
        </property>
        <property>
                 <name>dfs.permissions</name>
                  <value>false</value>
         </property>
</configuration>

4、~/etc/hadoop/mapred-site.xml
<connfiguration>
       <property>
           <name>mapred.job.tracker</name>
           <value>master:9001</value>
       </property>
</configuration>


5、~/etc/hadoop/slaves
node1
node2 
6、/etc/profile
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_71
export HADOOP_INSTALL=/home/hduser/hadoop/hadoop2.7.5
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${HADOOP_INSTALL}/bin:${HADOOP_INSTALL}/sbin:${JAVA_HOME}/bin:$PATH


原来的
export JAVA_HOME=/usr/lib/java/jdk8  


export JRE_HOME=${JAVA_HOME}/jre   


export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 


7、 source  /etc/profile


三台机都要进行这些操作，可以先在一台主机上修改，修改完了复制到其它主机就可以了。
 首先是hadoop-env.sh ,添加java安装的地址，保存退出即可。


hadoop 安装地址： /home/hduser/hadoop/hadoop-2.7.5


六、格式化集群：
在master主机上进行格式化
hadoop namenode -format
忽略报错： SHUTDOWN_MSG: Shutting down NameNode at master/192.168.80.128


hduser@master:/home/hduser/hadoop/hadoop2.7.5$ start-all.sh 


master机器：




node机器




进入系统先 source /etc/profile 启动hadoop
然后 start-all.sh