Hadoop安装

安装 Hadoop

一、安装伪分布式模式

1. 跳过安装VM的环节(如果需要请看我的视频)

2. 跳过安装centos的环节(如果需要请看我的视频)

3. mkdir /tools --> 用于存储一些软件工具

4. mkdir /training -> 用于安装一些软件工具

5. 安装JDK

a)然后解压并安装，使用以下命令:

tar -zvxf /tools/jdk-8u241-linux-x64.tar.gz -C /training/

b)检查你的java路径

echo $JAVA_HOME

6. 设置jdk环境：

1. 你需要去配置 .bash_profile 文件，路径在/root/下

vi ~/.bash_profile

2. 添加如下信息:

export JAVA_HOME=/training/jdk1.8.0_241

export JRE_HOME=$JAVA_HOME/jre

exportCLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin;

3. 使环境生效

source ~/.bash_profile

4. 检查 :---àjava –version

7. 关闭防火墙服务 :

systemctl stop firewalld.service

systemctldisable firewalld.service

8. 配置主机名 (你可以使用主机名 ,建议像 niit1,niit2,niit111):

hostnamectl--static set-hostname niit01 (you can use any HostName, I suggest use likeniit1, niit2, niit111)

======================================================================

二、安装Hadoop:

9. 上传hadoop-2.7.3.tar.gz 到tools文件夹,然后解压到/training:

tar-zvxf /tools/hadoop-2.7.3.tar.gz -C /training/

10. 设置hadoop的环境：

11. 你需要去配置 .bash_profile 文件，路径在/root/下:

vi ~/.bash_profile

12. 添加如下信息：

export HADOOP_HOME=/training/hadoop-2.7.3

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

13. 使环境生效

source ~/.bash_profile

14. 检查:

hdfs

======================================================================

三、安装伪分布式模式

11)配置主机名ip:

a) 检查:

ifconfig

b) 编辑host文件

vi/etc/hosts

a) 添加如下信息:

192.168.31.134niit01(你可以根据你的主机名进行更改)

12)伪分布式模式

a) 用如下路径去存储hdfs namenode 信息

mkdir /training/hadoop-2.7.3/tmp

b) 配置免密登录：

（*）ssh-keygen-t rsa (enter 4 times)

（*）cd~/.ssh/

（*）ssh-copy-id-i id_rsa.pub root@niit01 (changeaccording your hostname)

13) 五个文件需要配置：

a) 修改 hadoop-env.sh (设置你的jdk ) :

cd/training/hadoop-2.7.3/etc/hadoop/

vihadoop-env.sh

F 找到JAVA_HOME 并根据你的路径更改他

b) hdfs-site.xml (使用他设置你的block块和副本数量 )

vihdfs-site.xml

15. 添加如下信息添加到配置标签中:

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

16. 使用它去设置namenode 和临时文件夹（tmp）

17. - vi core-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://niit01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/training/hadoop-2.7.3/tmp</value>

</property>

18. vimapred-site.xml (使用它设置mapreduce的运行环境):这些文件不存在，你需要去复制

(*) cp/training/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template/training/hadoop-2.7.3/etc/hadoop/mapred-site.xml

(*) vi mapred-site.xml

(*) 添加如下的信息:

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

19. yarn-site.xml (设置你的yarn)

viyarn-site.xml

(*) 添加如下信息:

<property>

<name>yarn.resourcemanager.hostname</name>

<value>niit01</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

14) 格式化 NameNode:

hdfs namenode -format

#注意: 如果你格式化成功，你将看到如下的信息：

common.Storage:Storage directory /training/hadoop-2.7.3/tmp/dfs/name has been successfullyformatted.

15) 启动 hadoop:

start-all.sh

16) 查看 hadoop ：

a) web 端

HDFS:http://niit111:50070

Yarn:http://niit111:8088

b) 使用jps 查看hadoop 的守护进程，如下5个：

NameNode

DataNode

SecondaryNameNode

ReourceManager

NodeManager

17) 如果你想停止，你可以执行如下命令：

stop-all.sh