本文档详细介绍了如何配置Hadoop集群，从修改虚拟机的IP和主机名，安装必要的工具和JDK，到设置环境变量。接着，通过复制模板虚拟机创建了多个节点，并在本地模式下运行Hadoop的wordcount示例，演示了统计文本中单词数量的功能。
今天开始复习Hadoop配置内容，首先随便创建一个虚拟机命名为hadoop100。
IP和主机名称修改：
vi /etc/sysconfig/network-scripts/ifcfg-ens33
vi /etc/hostname
安装工具包和编辑器
yum install -y net-tools
yum install -y vim
安装epel-release
yum install -y epel-release
关闭防火墙
systemctl stop firewalld
systemctl disable firewalld.service
将hdoop100做为模板复制出hadoop102、haddop103、hdoop104
之后修改每台虚拟机的IP与主句名称，安装JDK和Hadoop，再配置JAVA和Hadoop的环境变量。
本地运行模式：
首先创建一个txt文件，在txt文件中写入一些单词，通过命令的方式统计txt文件中单词的出现的数量
vim word.txt
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput/ ./wcoutput
wcoutput/
cat part-r-00000
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
