ubuntu16.04 搭建hadoop 2.7.3

1.JDK8：

下载系统对应的jdk（.tar.gz：注意没有src后缀，这种文件解压就能用。这里给出一个64bit http://pan.baidu.com/s/1nuT7TdJ  edxq ）

获取root权限：

在usr下新建一个文件jdk, 在这个文件用来放解压的jdk：

1	root@kaenpc:/home/kaen# mkdir /usr/jdk

解压下载文件到jdk中：

root@kaenpc:/home/kaen# cd /usr/jdk
root@kaenpc:/usr/jdk# 

root@kaenpc:/usr/jdk# tar -zxvf /home/kaen/Downloads/下在的文件路径

添加环境变量：

sudo gedit /etc/environment

在打开的文件中添加（红色部分）：

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:$JAVA_HO
ME/bin"
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export JAVA_HOME=/usr/jdk/解压的文件名

保存后：

source /etc/environment

到这里还没有完结：此处配置你可以用java -version命令验证是否安装成功：仅仅在root情况下才能正确运行，退出root则不行

下面进一步：设置所有用户环境变量：

sudo gedit /etc/profile

文件下面添加，

JAVA_HOME=/usr/jdk/解压的jdk名
export JRE_HOME=/usr/jdk/解压的jdk名/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

重启系统生效

如果你系统本来就有其他的jdk，我们就需要更改默认jdk：

sudo update­alternatives ­­install "/usr/bin/java" "java" "/usr/jdk/解压jdk名/bin/java" 300
sudo update­alternatives ­­install "/usr/bin/javac" "javac" "/usr/jdk/解压jdk名/bin/javac" 300
sudo update­alternatives ­­install "/usr/bin/javaws" "javaws" "/usr/jdk/解压jdk名/bin/javaws" 300

sudo update­alternatives ­­config java
sudo update­alternatives ­­config javac
sudo update­alternatives ­­config javaws

在普通用户下：

kaen@kaenpc:~$ java -version

下面输出
java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)
就大工完成！！！！！

ssh

完全分布模式和单机伪分布模式都需要用到SSH，以保证在远程管理Hadoop节点以及Hadoop节点间用户共享访问时的安全性。
SSH登录类似于远程登录，登录某台Linux主机，并可在上面运行命令。

1.Ubuntu默认已经安装SSH Client， 我们还要安装SSH Server

1	sudo apt-get install openssh-server

2     ssh localhost

需要密钥

创建一对 OpenSSL

$ssh-keygen

接着一直点enter

$cp  .ssh/id_rsa.pub   .ssh/authorized_keys

$ssh localhost

这下就不要密钥了

2.在用户hadoop命令行中输入

hadoop2.7.3:

将下载的 Hadoop 解压移动 /usr/local下,我们将 Hadoop 在这 目录下。

cd到local下
tar ­-zxvf hadoop 压缩文件u路径
mv hadoop­2.7.3 hadoop        # 重新命名

将目录更更改 件权限
$chown ­R hadoop hadoop        # 
将目录更更改 件权限虽然 Hadoop 在 /usr/local 中,也是针 有用户的,但是我们用账户 hadoop 来进行
测试, 更改 件权限不能不做,否则,在 面 ./sbin/start­dfs.sh 遇no such file or directory 等错误。
使用 下命 查看是否 成功
1 cd /usr/local/hadoop
2 ./bin/hadoop version

添加hadoop环境变量（执行下面语句）

$export HADOOP_HOME=hadoop文件路径

$export PATH=$HADOOP_HOME/bin:$PATH

就直接在任何目录下可运行 hadoop version

单机模式配置

单机模式没有守护进程，其实无需进行SSH配置，所以上面SSH配置步可以省略。

1.打开/usr/local/hadoop/etc/hadoop/hadoop-env.sh
2.将

1	export JAVA_HOME=${JAVA_HOME}

处修改为

1 2 3

export JAVA_HOME=/usr/jdk/jdk1.8.0_101 # 视Java安装位置而定 export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:/usr/local/hadoop/bin

然后source hadoop-env.sh以保存修改

此时单机模式就已配置完成。

采用 Hadoop 自带的示 WordCount 来测试单 模式是否 成功。
2. 在 /usr/local/hadoop 路径下创 input 目录,然 拷贝统计的输
input 中,然 执行。

单 模式测试
采用 Hadoop 自带的示 WordCount 来测试单 模式是否 成功。
 在 /usr/local/hadoop 路径下创 input 目录,拷贝统计的输README.txt到input
$mkdir input
$cp README.txt input
$hadoop jar share/hadoop/mapreduce/sources/hadoop­mapreduce­examples­2.7.3­sources.jar org.apache.hadoop.examples.WordCount input output