hadoop(一) - 环境安装准备

一. 安装JDK, 并配置环境变量

准备安装文件: jdk-6u24-linux-i586.bin

1. 把安装文件移动到/usr/local目录下, 进入到/usr/local目录下, 通过"."解压文件:

2. 解压完成后, 我们可以查看到新产生的目录jdk1.6.0_24, 使用mv命令重命名为jdk, 目的是方便以后引用

3. 配置环境变量:   vi /etc/profile  增加以下内容:

export JAVA_HOME=/usr/local/jdk
export PATH=.:$PATH:$JAVA_HOME/bin

保存关闭后, 需要在shell环境下执行命令: source /etc/profile

解释: "$", 用于环境变量的引用; ":", 用于多个环境变量之间的连接; "source", 为了让文件中的设置立刻生效.

4. 使用java -version可以看到版本信息的话说明安装成功.

二. 关闭防火墙

sudo ufw disable  : 防火墙在系统启动时自动禁用 (ubantu)

三. 设置DNS解析

因为hadoop集群之间通过主机名互相访问, 所以必须设置dns解析

vi /etc/hosts

在文本最后追加一行:   192.168.56.101  hadoop0,   保存并关闭编辑器

四. 设置SSH免密码登陆

如果我们需要远程管理其他机器的话，一般使用远程桌面或者telnet。linxu 服务器几乎都是命令行，所以只能使用telnet 了。telnet 的缺点是通信不加密，非常不安全，只适合于内网访问。为解决这个问题，推出了加密的通信协议，即SSH。SSH 的全称是Secure Shell，使用非对称加密方式，传输内容使用rsa 或者dsa 加密，可以有效避免网络窃听。
hadoop 的进程之间通信使用ssh 方式，需要每次都要输入密码。为了实现自动化操作，我们下面配置SSH 的免密码登录方式。

1. 执行命令, 生成密钥: ssh -keygen -t rsa

该命令表示使用rsa加密方式生成密钥, 回车后, 会提示三次输入信息, 我们直接回车即可.

2. 进入密钥文件夹: cd .ssh/

cp id_rsa.pub authorized_keys  用于生成授权文件.

3. 验证ssh无密码登陆:

执行“ssh localhost”意味着使用“ssh”通信协议访问主机“localhost”，第一次执行时需要确认；第二次不再确认了。这就是无密码登录。

当登录到对方机器后，退出使用命令“exit”。这两次操作时，注意观察主机名变化。

ssh免登陆原理:

在serverA上生成密钥: ssh-keygen -t rsa  然后一直回车

将公钥拷贝到要免登陆的机器上命令: ssh-copy-id -i serverB