验证hdfs是否成功:
访问:http://ip:50070/进入hadoop页面
访问该页面下的Utilities 下的browse the file system 可以访问文件
往hdfs目录中添加文件 hadoop fs -put 文件地址 配置的hdfs协议地址(hdfs-site.xml中):hdfs://hadoop:9000/
从hdfs目录中下载文件 hadoop fs -get hdfs://hadoop:9000/文件目录/文件名
验证mapreduce程序是否成功:
cd到hadoop_home的share目录下
指令:
hadoop jar hadoop-mapreduce-exmples-2.4.1.jar(jar包) pi(指定主类) 5(map的任务数量) 5(每一个任务的取样数量,取样数越大,精度越高)
在hdfs中创建目录
hadoop fs -mkdir hdfs://hadoop01:9000/wordcount/input
或者
hadoop fs -mkdir /wordcount/input
将要计算的数据放入目标文件夹下
hadoop -fs put test.txt hdfs://hadoop01:9000/wordcount/input
运行相应的jar文件,进行计算并输出计算结果
hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /wordcount/input /wordcount/output
hadoop(二)hdfs和mapreduce测试.txt
最新推荐文章于 2020-04-29 20:56:44 发布