Hadoop 安装伪分布式模式

一．安装虚拟机

二．安装linux操作系统

1.下载centos镜像文件

2.安装centos

2.1创建虚拟机
2.2配置操作系统
我选择了桥接模式

3.修改主机名

1:vi /etc/hostname

2:hostnamectl set-hostname
3.hostname查看当前主机名

4.获取IP地址

1.ip addr

ens33是与外部通信的网卡，可以看到ip地址192.168.5.11

5.添加主机与ip映射

1.输入指令

2.在文件中添加

6.关闭防火墙

1.输入指令

7.创建目录

1.创建两个文件目录
分别为:/opt/module和/opt/software

三.远程连接

1.shell连接虚拟机

1.填ip地址，用户名，密码
2.sftp把jdk,hadoop压缩包文件传输到虚拟机
put 文件路径 文件名

mac自带

把未解压的传到/opt/module下

四. 安装和配置JDK

1.安装JDK

1.1解压JDK
mv 文件名 路径
tar -zxvf jdk~.tar.gz

解压成功的JDK移到/opt/software下

1.2修改文件名
mv 原文件名 新文件名

2.配置jdk环境变量

2.1输入命令

2.2配置环境

2.3.重新加载/etc/profile

2.4.查看当前jdk版本

五．安装与配置Hadoop

1.安装hadoop

1.1解压hadoop

mv 文件名 路径
tar -zxvf hadoop-2.6.0.tar.gz
解压成功的JDK移到/opt/software下

1.2修改文件名
mv 原文件名 新文件名

2.配置hadoop环境变量

2.1输入命令

2.2环境配置

2.3重新加载/etc/profile

2.4查看hadoop版本

3.配置hadoop

3.1进入到hadoop配置文件中

3.2配置hadoop-env.sh

3.3将JAVA_HOME改为jdk安装路径

3.4配置core-site.xml
f.defaultFS hdfs://ip:9000 配置namnode地址，9000是RPC通信端口

hadoop.tmp.dir /home/<用户名>/hadoop/tmp HDFS数据保存在linux的哪个目录，默认值是Linux的/tmp目录

3.5.配置hdfs-site.xml
dfs.replication 副本数

3.6.配置mapred-site.xml

3.6.1.修改下名字

mv mapred-site.xml.template mapred-site.xml
mapreduce.framework yarn 配置为yarn表示是集群模式，配置为local表示是本地模式

3.7.配置yarn.site.xml

yarn.resourcemanager.hostname ip Resourcemanger的IP地址或者主机名
yarn.nodemanager.aux-services mapreduce_shuffle Nodemanager上运行的附属服务

3.8.格式化hdfs

切到bin目录下

格式化成功

3.9.启动hadoop-daemon.sh start namenode

3.10.启动hadoop-daemon.sh start datanode

3.11.启动yarn-daemon.sh start resourcemanager

3.12.启动yarn-daemon.sh start nodemanager

或者start-all.sh

3.13.用jps查看启动进程

3.14.在浏览器中输入192.168.5.11.50070或者端口号8088