[hadoop笔记]基于CentOS7虚拟机搭建Hadoop单机模式

0 安装虚拟机，安装CentOS7

安装环境及相关安装包：

• Windows10操作系统
• VMware workstations 15.5 Pro
• CentOS7（最小化安装） 可以参考在VMware中安装RHEL7，步骤基本一致，可以不分区
• jdk-8u261-linux-x64
• Hadoop2.7.3

1. 配置虚拟机环境

① 配置网络

修改网络配置文件，设置为开机自启动即可

[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens32
	# 修改：
	ONBOOT=yes

# 重启生效
[root@localhost ~]# service network restart

使用 ip add查看当前虚拟机的IP并记下来，后面会用到。

② 关闭防火墙和selinux

#关闭防火墙并禁用
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
#查看是否关闭成功
[root@localhost ~]# systemctl status firewalld

#关闭Selinux
[root@localhost ~]# vi /etc/selinux/config
	# 修改：
	SELINUX=disabled

#重启生效
[root@localhost ~]# reboot

③ 创建普通用户，并授权

# 创建用户
[root@localhost ~]# useradd hadoop
# 改用户密码
[root@localhost ~]# passwd hadoop

# 授权
[root@localhost ~]# visudo
	# 修改：
	## Allow root to run any commands anywhere
	root    ALL=(ALL)       ALL
	hadoop  ALL=(ALL)       ALL  # 添加

后续就可以用普通用户操作了

④修改主机名，做主机映射

# 修改主机名
[root@localhost ~]# su hadoop
[hadoop@localhost ~]$ sudo hostnamectl set-hostname wx

# 重启
[hadoop@localhost ~]$ sudo reboot

# 添加主机映射
[root@wx ~]# su hadoop
[hadoop@wx ~]$ sudo vi /etc/hosts
	# 添加
	192.168.183.139		wx

⑤安装jdk

# 先安装lrzsz，方便从Windows本地上传文件到虚拟机
[hadoop@wx ~]$ sudo yum -y install lrzsz

# 上传jdk安装包
[hadoop@wx ~]$ rz

# 解压jdk
[hadoop@wx ~]$ sudo tar -zxvf jdk-8u261-linux-x64.tar.gz 
[hadoop@wx ~]$ mv jdk1.8.0_261 jdk
[hadoop@wx ~]$ cd
[hadoop@wx ~]$

# 配置环境变量
[hadoop@wx ~]$ sudo vi /etc/profile
	# 追加：
	export JAVA_HOME=/home/hadoop/jdk
	export PATH=$PATH:$JAVA_HOME/bin

#  环境变量生效
[hadoop@wx ~]$ source /etc/profile

# 测试是否安装成功
[hadoop@wx ~]$ java -version

2. 安装Hadoop单机模式

① 上传Hadoop安装包并解压，配置环境变量

[hadoop@wx ~]$ sudo tar -zxvf hadoop-2.7.3.tar.gz 
[hadoop@wx ~]$ sudo mv hadoop-2.7.3 hadoop
[hadoop@wx ~]$ sudo vi /etc/profile
		#追加
		export HADOOP_HOME=/home/hadoop/hadoop
		#修改
		export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
		
[hadoop@wx ~]$ source /etc/profile
# 测试是否安装成功
[hadoop@wx ~]$ hadoop version

②运行Wordcount程序进行测试

# 新建一个输入文本
[hadoop@wx ~]$ vi data.txt
# 运行官方提供的Wordcount程序
[hadoop@wx ~]$ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount data.txt ./output
# 查看运行结果
[hadoop@wx ~]$ cat ./output/part-r-00000