解决hive使用sqoop导入大表虚拟内存溢出,OOM,container killed问题:

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
或 running beyond virtual memory limits. Current usage: 398.2 MB of 1 GB physical memory used; 3.9 GB of 2.1 GB virtual memory used. Killing container.

解决:在hive 命令行窗口临时设置以下参数:
set mapred.max.split.size=256000000; (如果依然报错,则降低每个maptask切片的大小,增加task的数量)
set mapreduce.map.memory.mb=4096; (map container内存分配)
set mapreduce.reduce.memory.mb=8192; (reduce container内存分配)
set yarn.scheduler.minimum-allocation-mb=2048; (单个容器container申请最小值,默认1G)
set mapred.child.java.opts=-Xmx3076m;
(运行map和reduce任务的客户端JVM堆大小【map和reduce任务能使用的最高物理内存】,默认200M),由于每一个container需要为map和reduce任务运行jvm,因此jvm堆大小应设置小于map和reduce 的memory,,一般设置为map,reduce内存大小的3/4,

yarn.nodemanager.resource.memory-mb 是限定节点使用机器最大内存,默认8192M。默认情况下RM允许最大AM申请Container资源为8192MB

默认的(“yarn.nodemanager.vmem-pmem-ratio“)设置为2.1,意味则map container或者reduce container分配的虚拟内存超过2.1倍的(“mapreduce.reduce.memory.mb“)或(“mapreduce.map.memory.mb“)就会被NM给KILL掉

set mapred.max.split.size=256000000;
set mapreduce.map.memory.mb=4096;
set mapreduce.reduce.memory.mb=8192;
set yarn.scheduler.minimum-allocation-mb=2048;
set mapred.child.java.opts=-Xmx3076m;
如果上述解决不了问题,设置,降低处理分片的大小:
set mapred.max.split.size=128000000;()
set mapreduce.map.memory.mb=4096;
set mapreduce.reduce.memory.mb=8192;
set yarn.scheduler.minimum-allocation-mb=2048;
set mapred.child.java.opts=-Xmx4096m;

  • 0
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: Sqoop是一个用于在Hadoop集群和关系型数据库(如Oracle)之间进行数据传输的工具。使用Sqoop可以实现将Oracle表的数据导入Hive中。 首先,确保Sqoop已经正确安装并配置好了。 1. 查看Oracle连接信息:需要获取Oracle数据库的连接信息,包括数据库的URL,用户名和密码。 2. 创建Hive表:在Hive中创建一个表,用于存储从Oracle导入的数据。可以使用Hive的命令行或者Hive的客户端工具进行创建。 3. 导入数据:使用Sqoop的import命令将Oracle表中的数据导入Hive中。命令示例: ``` sqoop import --connect jdbc:oracle:thin:@servername:port/servicename --username username --password password --table tablename --hive-import --hive-table hivetable ``` 其中,`jdbc:oracle:thin:@servername:port/servicename`为Oracle数据库的连接URL,`username`和`password`是Oracle数据库的用户名和密码,`tablename`是要导入的Oracle表名,`hivetable`是要导入Hive中的表名。 4. 等待导入完成:Sqoop会自动将Oracle表中的数据导入Hive表中。根据数据的大小和网络的速度,导入间可能会有所不同。可以通过Sqoop的日志来查看导入的进度和状态。 导入完成后,可以使用Hive命令行或者Hive客户端工具来验证数据是否成功导入Hive表中。通过查询Hive表,可以查看导入的数据是否准确无误。 通过以上步骤,就可以使用Sqoop将Oracle表的数据导入Hive中了。这样,就可以在Hadoop集群上使用Hive进行大数据分析和数据处理了。 ### 回答2: Sqoop是一种用于将数据在关系型数据库和Hadoop之间进行传输的工具。它可以用来将Oracle表中的数据导入Hive中。 在使用Sqoop导入Oracle表到Hive之前,首先需要确保已经安装并配置了SqoopHive。然后,可以使用Sqoop的import命令来执行导入操作。 命令示例: ``` sqoop import \ --connect jdbc:oracle:thin:@//hostname:port/servicename \ --username your_username \ --password your_password \ --table your_table \ --hive-import \ --hive-table your_hive_table \ --hive-overwrite ``` 在这个命令中,需要替换以下参数: - `hostname:port/servicename`:Oracle数据库的主机名、端口号和服务名。 - `your_username`:连接Oracle数据库的用户名。 - `your_password`:连接Oracle数据库的密码。 - `your_table`:要导入的Oracle表名。 - `your_hive_table`:要在Hive中创建的表名。 在执行命令后,Sqoop会连接到Oracle数据库,并将指定的表数据导入Hive中。`--hive-import`参数用于指示Sqoop将数据导入Hive中。`--hive-table`参数用于指定在Hive中创建的表名。`--hive-overwrite`参数表示如果同名表已经存在于Hive中,则覆盖该表。 导入完成后,就可以在Hive中查询和分析导入的数据了。 ### 回答3: Sqoop是一款用于数据的批量传输工具,它可以将关系型数据库中的数据导入Hive中进行分析和处理。下面是使用Sqoop将Oracle表导入Hive的步骤: 1. 首先,确保Sqoop已经正确安装并配置好了与Oracle数据库和Hive的连接。 2. 使用Sqoop命令行工具,通过以下命令来导入数据: ``` sqoop import --connect jdbc:oracle:thin:@<hostname>:<port>/<database> --username <username> --password <password> --table <tablename> --hive-import --hive-table <hivetablename> ``` 其中,`<hostname>`是Oracle数据库的主机名,`<port>`是Oracle数据库的端口号,`<database>`是Oracle数据库的名称,`<username>`是登录Oracle的用户名,`<password>`是登录Oracle的密码,`<tablename>`是要导入的Oracle表的名称,`<hivetablename>`是要导入Hive中的表的名称。 3. 运行上述命令后,Sqoop会根据指定的连接信息和表信息从Oracle数据库中读取数据,并将数据以Avro文件格式的形式导入HDFS中的临目录。 4. 然后,Sqoop将数据从临目录加载到Hive表中,可以通过Hive查询语句对该表进行分析和处理。 需要注意的是,导入过程中可以根据具体需求进行一些参数的调整,如字段映射、分隔符、是否压缩等。 总结来说,通过Sqoop可以简便地将Oracle数据库中的数据导入Hive中,方便进行后续的数据分析和处理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值