hadoop集群安装教程

Hadoop介绍：
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

1. 安装三台虚拟设备
   在里面我建议大家选择性能稳定的合适的linux版本进行安装，一般要进行初级学习的话，暂时三台虚拟机就够学习使用了。

2. 网络ip设置
   首先，选择虚拟机为net模式，看准当前网关和虚拟机能分配的网段。让三台虚拟机置于当前网段下。这样就能进行通信了。具体操作可以在网上搜索，这里就不在叙述了。

3. 安装jdk并设置 路径
   首先将自己下载的包放在

/usr/local/src/

这样方便操作，然后解压jdk，

tar zxf jdk-6u45-linux-x64.bin 

这时的jdk还不能使用，要使用必须在指定目录下使用，这里提供一种解决方案，当然其他的方式也有。感兴趣的可以在网上搜索。

vim ~/.bashrc //编辑此文件

在他的后面添加以下文件内容

export JAVA_HOME=/usr/local/src/jdk1.6.0_45
//这是jdk解压包的所在位置
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

然后让更改过后的~/.bashrc文件生效，

source ~/.bashrc

当然三台虚拟机的jdk必须都安装成功。且都是上述同一种方式。

4.安装hadoop集群

首先将hadoop安装包解压，将他放在

/usr/local/src/

此目录下，与jdk的目录一致。以便于更好的管理。

进入该目录下

cd /usr/local/src/hadoop-1.2.1

mkdir tmp //存放临时文件由这个目录管理
cd conf/ //此文件目录地下进行修改配置文件。

vim masters //更改为当前主机名
master

vim slaves //修改从节点
slave1
slave2

vim core-site.xml //修改此文件

hadoop.tmp.dir
/usr/local/src/hadoop-1.2.1/tmp
1 //指定临时目录的地址


fs.default.name
hdfs://192.168.184.10:9000
//配置NameNode的uri(统一定位符)

vim mapred-site.xml
修改该文件


mapred.job.tracker //指定job.tracker的工作端口
http://192.168.184.10:9001

vim hdfs-site.xml


dfs.replication //数据在hdfs里面的副本数，一般是三个
3

vim hadoop-env.sh //配置该启动文件

export JAVA_HOME=/usr/local/src/jdk1.6.0_45
将java存放地址设置在该文件中。

vim /etc/hosts
192.168.184.10 master //配置主节点ip
192.168.184.11 slave1 //配置从节点ip
192.168.184.12 slave2 //配置从节点ip

配置此文件之后访问其他主机可以使用主机名访问
NETWORKING=yes
HOSTNAME=master ///改动此文件
NTPSERVERARGS=iburst

使其生效
hostname master //临时生效

scp -rp hadoop-1.2.1 192.168.184.11:/usr/local/src
将hadoop解压过后的文件拷贝到另外两个节点上。

在两个从节点上，
修改 cd /etc/hosts 将主节点上的复制到这里

vim /etc/sysconfig/network 修改该文件hostname=从节点名称

hostname slave1 可以让节点临时名生效

关闭主从节点的防火墙
/etc/init.d/iptables stop

可能会影响网络传输。

关闭
setenforce 0

ssh-keygen 生成密钥 直接回车
每台主机的密钥都要生成
cd ~/.ssh/
进入此文件
将每台主机的三个公钥都复制到
authorized_keys //包含三台机器的公钥

再进入cd /usr/local/src/hadoop-1.2.1/bin 目录底下

格式化hadoop
./hadoop namenode -formate //格式化
./start-all.sh 启动hadoop集群
jps 查看当前状态

简单使用hadoop
./hadoop fs -ls / //查看当前环境

./hadoop fs -put /etc/passwd / //简单上传passwd文件

./hadoop fs -ls /

./hadoop fs -cat /passwd
查看内容

至此，hadoop有没有get到，哈哈哈