基于Hadoop的WordCount案例实现（Linux版本）

读书无论资性高低，但能勤学好问，凡事思一个所以然，自有义理贯通之日
立身不嫌家世贫贱，但能忠厚老成，所行无一毫苟且处，便为乡党仰望之人

注意事项

1. 本分布式集群包含3台虚拟机，操作系统均为Linux
2. 本次使用的统计文本大小为4.32MB
3. 若使用单台虚拟机，即伪分布式集群，或者分布式集群运算能力较弱，可以使用该4.32MB的文本
4. 若想尝试大数据量运算，可将该文本进行自我复制到1GB大小，并以此产生多个副本
5. 本分布式集群HDFS架构如下

节点	主机名	NameNode	DataNode	Secondary NameNode	Resource Manager	Node Manager
主节点	master	√	√		√	√
从节点	slave1		√	√		√
从节点	slave2		√			√

准备工作

统计文本

该统计文本大小为4.32MB，也可使用自己生成的统计文本 提取码w3ci

软件

1. Xftp （类似的SFTP、FTP文件传输软件均可，如国产的FinalShell）
2. Xshell （类似的安全终端模拟软件均可，如SecureCRT）

• Xftp以及Xshell均包含在Xmanager软件产品中 提取码7r9h
• SecureCRT 提取码fcjd
• Xshell以及SecureCRT下载一个即可，建议下载Xshell

具体步骤

注意：以下操作均在主节点虚拟机（master）上执行，无需在各虚拟机均执行

使用Xsehll连接虚拟机

1. 点击“文件”→“新建”
2. 填写“名称”和“主机”，“主机”为IP地址，“名称”尽量填写IP地址，点击“确定”