1.将 Hadoop 的 classpath 信息添加到 CLASSPATH 变量中
- 在命令窗口中输入sudo gedit ~/.bashrc
- 在文件下方添加以下代码并保存
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
- 在命令窗口使用source ~/.bashrc 使变量生效
2. 编译打包MapReduce(以WordCount.java为例)
- 在命令窗口使用su root 切换到root账户
- cd 进入WordCount.java所在目录
- 使用 javac WordCount.java 进行编译
- 编译后会在WordCount.java所在目录下生成相应的多个.class文件,需要对这些.class文件打包成.jar文件
- 使用 jar -cvf WordCount.jar ./WordCount*.class 进行打包
3.运行WordCount
- su hadoop 切换用户
- sbin/start-all.sh 启动hadoop
- 在HDFS中创建目录input
- 将任意txt文件放到input目录中(如hadoop目录下的LICENSE.txt)
- 查看文件是否已复制到input目录中
- 使用hadoop运行WordCount.jar
- 查看生成的文件
- 查看输出的结果