Hadoop2.6.0在Ubuntu Kylin14.04上的配置

环境：

　　系统：Ubuntu Kylin 14.04LTS版本（不得不说，相比原始的系统，这个中国定制版麒麟实在是好看和好用多了）

　　　　   Hadoop 2.6.0

　　　　　jdk1.8.0_25

步骤：

　　1. 创建Hadoop用户

　　创建用户

1	sudo useradd hadoop

　　设置密码

1	sudo passwd hadoop

　　为hadoop用户创建目录

1 2 3

cd /home sudo mkdir hadoop sudo chown hadoop /home/hadoop

　　为hadoop用户授予管理员权限，这样方便以后的操作

1	sudo adduser hadoop sudo

　　注销当前用户，登录hadoop用户

　　2. 安装SSH

　　　SSH(Secure Shell)是目前比较可靠的为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。通过SSH，可以把所有传输的数据进行加密，也能够防止DNS欺骗和IP欺骗。

　　安装SSH server

1	sudo apt- get  install openssh-server

　注意：因为ubuntu kylin 已经升级了，如果还是旧的版本需要更新源，执行下面的命令

1	sudo apt-get update

　设置SSH无密码登陆

1	ssh localhost

　　有如下提示(SSH首次登陆提示)，输入yes

     

　　配置成无密码登陆：

　　　　先输入 exit 退出ssh，然后执行如下命令

1 2 3

cd ./.ssh                      # 如果没有该目录，先执行一次ssh localhost ssh-keygen -t rsa              # 一直按回车就可以，生成的密钥保存为.ssh/id_rsa cp id_rsa.pub authorized_keys

　　　　再用ssh localhost命令，就可以直接登陆了

　　3. 配置jdk

　　首先介绍厦大数据库实验室博客介绍的方法：

sudo apt-get install openjdk-7-jre openjdk-7-jdk

这种方法可以直接在终端安装好jdk.

　　4. 安装Hadoop

　　首先到Apache官网下载Hadoop，我下载的是Hadoop2.6.0  压缩包名称:hadoop-2.6.0.tar.gz   解压缩后为hadoop-2.6.0

　　将文件夹拷贝到/usr/local/hadoop中

1 2	sudo mv ~/hadoop-2.6.0/ /usr/local/hadoop        # 将文件名改为hadoop sudo chown -R hadoop:hadoop /usr/local/hadoop            # 修改文件权限

　　修改环境变量信息JAVA_HOME

1 2	cd /usr/local/hadoop gedit etc/hadoop/hadoop-env.sh

　　将 export JAVA_HOME=${JAVA_HOME} 改为

1	export JAVA_HOME= "/usr/lib/jvm/java-8u5-sun"

　　输入如下命令Hadoop检查是否可用，成功则会显示命令行的用法

1	bin/hadoop

　　5. Hadoop伪分布设置

　　修改配置文件etc/hadoop/core-site.xml，将

1 2	<configuration> </configuration>

　　改为：

1 2 3 4 5 6 7 8 9 10 11

<configuration>      <property>          <name>hadoop.tmp.dir</name>          <value>file:/usr/local/hadoop/tmp</value>          <description>Abase  for  other temporary directories.</description>      </property>      <property>          <name>fs.defaultFS</name>          <value>hdfs: //localhost:9000</value>      </property> </configuration>

　　修改配置文件etc/hadoop/hdfs-site.xml

1 2 3 4 5 6 7 8 9 10 11 12 13 14

<configuration>      <property>          <name>dfs.replication</name>          <value>1</value>      </property>      <property>          <name>dfs.namenode.name.dir</name>          <value>file:/usr/local/hadoop/dfs/name</value>      </property>      <property>          <name>dfs.datanode.data.dir</name>          <value>file:/usr/local/hadoop/dfs/data</value>      </property> </configuration>

　　配置完成后，首先在 Hadoop 目录下创建所需的临时目录：

1 2	cd /usr/local/hadoop mkdir tmp dfs dfs/name dfs/data

　　初始化文件系统HDFS

1	bin/hdfs namenode -format

　　开启NameNode等进程

1	sbin/start-dfs.sh

　　输入jps，以检查各个节点是否就绪。若此时DataNode等节点没有开启，则重新初始化，重新start