hadoop解决集群总资源为0的情况

项目场景：

sqoop从mysql到hive的问题
hadoop解决集群总资源为0的情况

问题描述

在使用sqoop将数据从mysql导入到hive当中的时候，出现了一个问题

bin/sqoop import --connect jdbc:mysql://master01:3306/demo_test?useSSL=false  --username root --password xxxx --target-dir /usr/hive/warehouse/test001 --table backup --num-mappers 1

通过该命令提交，发现并未报错，但是底层的MR却申请不到资源。

这个是修改后的，修改前的时候，在集群总资源这个地方显示为0，也就是没有资源可用
一开始以为是yarn的资源调度有问题，后面进行查找

原因分析：

• yarn资源的调度问题
• 配置文件有问题
• 服务器资源满了
  
  这里穿插一条如何扩容磁盘的链接.，不是我写的，某位大佬
  这里在最下面要注意一下，有可能你得并不是ext2/ext3的磁盘格式，这个时候就不能用他第11步骤的resize2fs这个方式来扩容，如果你是xfs格式的话可以用这一条

 xfs_growfs /dev/mapper/centos-root
这个是我的路径，可以根据自己的主分区路径进行修改

解决方案：

这个地方我进行了很多尝试，但是结果却并不是，一开始我以为的是配置文件，出现了问题导致我的集群，修改了两次的配置文件，却发现并未有任何变化，于是我就开始在搜索答案，之后还是找到一个比较合理的答案，说是服务器资源不够。后面我发现，其实这也只是一部分原因，当时我的服务器资源还是有的，但是我还是尝试了一下，扩大了虚拟机的磁盘，修改了一下磁盘空间，df -h查看后容量变成了46%

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.3.1</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.3.1</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.3.1</value>
</property>

增加mapred-site.xml部分配置情况，指定一下hadoop的路径，没有到bin
然后发现NodeManager启动不了了
哈哈哈哈哈哈，又一次修改，
后面发现是yarn-site.xml配置问题，我为了修改，然后

yarn.nodemanager.resource-type.resource1
yarn.nodemanager.resource-type.resource2

原因就是这里了，我增加了两个指定关于单个资源类型的详细信息。我把这一块注释了就OK 了

果然，改bug什么的简直就是人生梦魇，害。。。
但是还是解决了
看看结果

在hive里面就能找到数据了，真不错
sqoop从mysql到hive算是打通了，还顺带调一下集群，真难受
算了，淦奶茶去，起飞