hadoop-2.7.3的WordCount测试

本文详细介绍了如何在Hadoop 2.7.3上进行WordCount测试。首先创建并准备了两个文本文件,然后将它们复制到Hadoop的input目录下。接着,通过命令行检查了文本是否正确导入。之后运行WordCount的jar程序,指定输出结果到/output目录。最后,展示了如何查看运行的结果,验证WordCount程序的正确性。
摘要由CSDN通过智能技术生成

测试hadoop的 WordCount

1、创建两个文本

[root@bigdata01 /]# mkdir input
[root@bigdata01 /]# cd input
[root@bigdata01 input]# echo "hello world" >test1.txt
[root@bigdata01 input]# echo "hello hadoop" >test2.txt

2、将两个txt文本copy到hadoop下

./代表input目录下所有文本 /input代表hadoop根目录吧  我也不清楚

[root@bigdata01 input]# hadoop fs -put ./ /input 

3、查看copy到hadoop的文本

[root@bigdata01 input]# hadoop fs -ls /input
Found 2 items
-rw-r--r--   1 root supergroup      
下载和安装Hadoop 2.7.3版本需要几个步骤: 1. **下载文件**: - 从Apache Hadoop官网(https://hadoop.apache.org/releases.html)下载hadoop-2.7.3.tar.gz,这是Hadoop的二进制包,包含了Hadoop的核心组件。 - 也下载hadoop-eclipse-plugin-2.7.3.jar,这是一个Eclipse插件,用于Eclipse集成开发环境的支持。 - 同时还需要hadop-common-bin-master.zip,这可能是Hadoop的一部分,但通常Hadoop的发行版不会提供单独的common-bin包。 2. **解压二进制包**: 使用tar命令解压hadoop-2.7.3.tar.gz,通常在你的服务器或机器的一个目录下创建一个名为`hadoop-2.7.3`的新目录,并将压缩包解压到其中。 ``` tar -xvf hadoop-2.7.3.tar.gz -C /path/to/your/directory ``` 3. **配置**: 进入解压后的目录,编辑`conf/hadoop-env.sh`等配置文件,设置环境变量如JAVA_HOME、HADOOP_HOME等。如果需要,还需编辑核心配置文件如`core-site.xml`, `hdfs-site.xml`等。 4. **安装Eclipse插件**: 将hadoop-eclipse-plugin-2.7.3.jar放入Eclipse的plugins目录下,然后重启Eclipse以便加载插件。在Eclipse里,你可以通过Help > Install New Software...找到并安装它。 5. **获取common-bin部分**: 如果你需要的是hadoop-common-bin-master.zip,确认它的来源是否可靠。一般情况下,Hadoop发行版已经包含所有必要的binaries。如果确实需要,解压后放到Hadoop的bin目录下即可。 6. **启动服务**: 在Hadoop安装目录下的sbin目录下运行启动脚本(如`start-all.sh`),启动Hadoop的服务。 记得根据你的系统需求进行适当的调整,例如权限设置和网络配置等。安装完成后,检查日志文件以确保一切正常运行。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值