伪分布式Hadoop安装配置问题以及常用命令教程

搭建伪分布式hadoop流程总结

首先hadoop必须搭建在Linux系统上

一.本文用的虚拟机是VMware 15

附：VMware 15 安装破解教程
https://blog.csdn.net/qq_41785863/article/details/83620557

二.之后当然需要在虚拟机上Linux系统

本文用的是centos 7.0

附：centos.7.0下载地址

http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804.iso

装好之后可能会遇到的问题：

1.Iner VT-x 处于禁用状态 (本机是F12进入BIOS）

附：解决方案
https://jingyan.baidu.com/article/fc07f98976710e12ffe519de.html

2.无线网络连接不上问题

如果是台式用的虚拟机vwmare 且用的centos系统，

可以选择虚拟机可移动设备选择无限网卡，但这样主机就不能用网线网卡了。

三.创建账号和管理者权限

Centos （linux下）创建Hadoop 用户 配置无密码登录SSH
http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/

四.Centos7.0 下装JAVA环境

https://www.cnblogs.com/maomao999/p/9764251.html

下载hadoop的时候一定要选择保存文件

五.安装hadoop单机版 

 http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/

#显示hadoop 版本信息
cd /usr/local/hadoop
./bin/hadoop version

装伪分布式前，先输入

#确定你的主目录
cd /usr/local/hadoop

六.伪分布式安装教程

http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/

在装伪分布式途中，如果遇到JAVA_HOME is not find

1.检查JAVA_HOME是否配置过程
start-all.sh
2.看JDK是否安装完成
java -version  （java后面有一个空格）
3.输入export可以看JDK环境是否设置成功
记录下JAVA_HOME= 后面的路径
4.找到hadoop/etc/hadoop-env.sh这个文件

打开后 将export JAVA_HOME=$JAVA_HOME  
改成     export JAVA_HOME=之前保存的路径

./sbin/start-dfs.sh #开启hadoop
./sbin/stop-dfs.sh  #关闭hadoop

伪分布式的例子
http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/

进入MapReduce和HDFS的web界面操作
https://blog.csdn.net/wy7980/article/details/40710631

七.启动Yarn

http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/