Hadoop单机模式配置步骤

配置环境

CentOS7

Hadoop-3.2.2

1.安装ssh

yum -y install openssh-server

验证ssh是否是免密登录

需要输入密码，所以我们要配置ssh免密登录，输入命令：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

验证ssh是否是免密登录

不输入密码成功登录

别忘了退出

2.安装jdk

# 解压
tar -zxvf jdk-8u281-linux-x64.tar.gz -C /usr/local/
# 重命名
mv /usr/local/jdk1.8.0_281/ /usr/local/jdk
# 配置环境变量
vim /etc/profile

添加如下内容

export JAVA_HOME=/usr/local/jdk
export CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

# 使配置文件生效
source /etc/profile
# 验证
java -version

3.安装Hadoop

wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz

解压

tar -zxvf hadoop-3.2.2.tar.gz -C /usr/local/

重命名

mv /usr/local/hadoop-3.2.2/ /usr/local/hadoop

配置Hadoop环境变量

vim /etc/profile

添加如下配置：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置文件生效

source /etc/profile

验证

hadoop version

4.使用MapReduce

Hadoop安装成功之后，我们可以运行一个mapreduce案例来统计一个文件中每个单词出现的数量

cd /usr/local/hadoop/share/hadoop/mapreduce/
# 创建要统计的文件
vim data.txt

文件内容

执行命令，统计每个单词出现的次数

hadoop jar hadoop-mapreduce-examples-3.2.2.jar wordcount data.txt output

进入输出文件夹

cd output/

查看统计结果

vim part-r-00000