目录
前言
Hadoop的单词统计(Word Count)是一个经典的MapReduce示例,用于计算输入文本文件中每个单词出现的次数。本指南旨在帮助读者在搭建完Hadoop集群后运行单词统计程序,并最终分析输出结果,全程详细解析,帮助读者深入理解大数据处理的核心流程。
一、启动hadoop HA高可用集群
1. 启动hadoop集群
切换到Hadoop安装目录的sbin子目录,并执行启动脚本。
位置:/usr/local/src/hadoop/sbin
./start-all.sh
2. 启动zookeeper集群
ZooKeeper是Hadoop HA高可用性的关键组件,确保ZooKeeper集群正常启动。
位置:/usr/local/src/zookeeper/bin
./zkServer.sh start
3. 验证集群状态
通过Hadoop和ZooKeeper的管理界面或使用命令行工具,验证所有服务组件均正常运行。
4.启动脚本提供
hadoop
#!/bin/bash
case $1 in
"start"){
/usr/local/src/hadoop/sbin/start-dfs.sh
/usr/local/src/hadoop/sbin/start-yarn.sh
};;
"stop"