Hadoop集群安装

node-131
node-132
node-133
这里为主机名，也可写入IP，主机名需要在/etc/hosts文件里加入对应节点信息。

下载

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz

安装

1.解压

进入/usr/local.hadoop/目录,将下载的文件放到此目录，然后解压文件：
Tar -zxvf hadoop-2.7.4.tar.gz

2.修改配置文件

1)修改hadoop-env.sh 文件
找到export JAVA_HOME=节点，取消注释 修改内容为：
export JAVA_HOME=/usr/local/java/jdk1.8.0_144
后面为jdk目录，不清楚的话可使用echo $JAVA_HOME 命令查看。

2)修改core-site.xml 文件
打开core-site.xml文件后配置文件为空，添加基本配置信息

<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>

<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop</value>
</property>

fs.defaultFS：指明主节点信息
hadoop.tmp.dir：hadoop数据存放路径
配置这两个基本就行了，更多配置信息参考官网信息

3)修改Slaves文件内容为：

Node1-130
Node2-131
Node3-132

指明集群节点信息，根据自己节点信息定义

4)修改/etc/profile文件信息
vi /etc/profile进入编辑界面
在最后添加内容为：

export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.4/bin:/usr/local/hadoop/hadoop-2.7.4/sbin
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.4

/usr/local/hadoop/hadoop-2.7.4 为hadoop解压目录
然后：source /etc/profile命令更新环境变量
至此安装过程基本结束，后面开始启动集群

启动

1.格式化namenode
命令：hdfs namenode -format
2.启动
单台集群启动：
启动namenode:
hadoop-daemon.sh start namenode
启动datanode :
hadoop-daemon.sh start datanode
集群批量启动:
start-dfs.sh
集群批量停止:
stop-dfs.sh

集群批量启动时可能需要ssh远程登录，事先做好服务器间免密码登录可不需要输入密码远程执行命令，Linux间免密登录参考之前的文章
至此，集群已配置结束