hadoop安装

一、安装jdk

安装jdk1.7或以上版本，过程略。

二、配置ssh免密码登录

生成公钥/私钥对

ssh-keygen -t rsa -P ''

将 id_rsa.pub文件内容添加到authorized_keys文件中

cat .ssh/id_rsa.pub >> .ssh/authorized_keys

ssh localhost

以上登录成功

 

三、安装hadoop2.8.1

下载：wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.8.1/hadoop-2.8.1.tar.gz

解压：tar -xzvf hadoop-2.8.1.tar.gz

移到hadoop目录：mv hadoop-2.8.1 hadoop

配置hadoop环境变量：vim /etc/profile

exportHADOOP_HOME=/usr/local/hadoop/hadoop-2.8.1

export PATH=$HADOOP_HOME/bin:$PATH

   使配置生效：source/etc/profile

   查看hadoop安装是否成功

Hadoop配置

进入$HADOOP_HOME/etc/hadoop目录，配置以下文件

1、配置hadoop-env.sh

  

2、配置yarn-env.sh

  

3、配置core-site.xml

4、配置hdfs-site.xml 

5、配置mapred-site.xml

6、配置yarn-site.xml

Hadoop启动

1、格式化namenode：bin/hdfs namenode -format

2、启动NameNode 和 DataNode 守护进程：sbin/start-dfs.sh

3、启动ResourceManager 和 NodeManager 守护进程：sbin/start-yarn.sh

启动验证

执行jps命令，有如下进程，说明Hadoop正常启动