QiSorry

文章目录前言一、创建 Maven 项目，添加依赖二、创建 WordCount 类实现 Tool 接口三、创建 WordCountDriver 类四、打包上传到集群测试前言有时我们自己编写的MR程序需要传入一些参数比如指定任务提交到哪个队列，这时就需要实现Tool接口一、创建 Maven 项目，添加依赖<dependencies> <dependency> <groupId>org.apache.hadoop</groupId&g.

修改 capacity-scheduler.xml[bigdata@worker-13 ~]$ vim $HADOOP_HOME/etc/hadoop/capacity-scheduler.xml增加一个名为 hive 的队列，并添加相应的配置 <property> <name>yarn.scheduler.capacity.root.queues</name> <value>default,hive</value>

文章目录前言一、虚拟机准备1. 可以正常上网2. ip为静态ip3. 安装必要的环境4. 关闭防火墙以及防火墙开机自启动5. 修改主机名及添加映射6. 创建用户7. 克隆另外两台虚拟机：hadoop102 hadoop103克隆 hadoop102更改 hadoop102 相关信息测试三台虚拟机是否可以相互通信二、Hadoop安装及相关配置1.引入库2.读入数据总结前言必备条件：电脑内存最好8G以上虚拟机ip为静态ip且可以 ping 通外网提示：若满足以上条件，下面案例可供参考一、虚.

查看测试文件大小[bigdata@worker-13 data]$ ll -h总用量 215M-rw-rw-r--. 1 bigdata bigdata 215M 12月 13 18:54 bigtable.lzo将测试文件上传到hdfs[bigdata@worker-13 data]$ hadoop fs -put bigtable.lzo /input为测试文件创建索引[bigdata@worker-13 data]$ hadoop jar /opt/module/hadoop-3.1