大数据
db_guy
前行亦是归途
展开
-
Sqoop解决宽表内存溢出OutOfMemoryError
oracle里面导入一张大款表,字段数非常多,而且有很多长文本,这些文本都需要用到,导入的时候报错OutOfMemoryError,内存溢出错误。解决办法之一是增加内存,目前情况来说不显示,于是我采用另一种方法:减小cache到内存的记录条数,即使用–fetch-size选项调整fetchSize。fetchSize默认值为1000,这里我们把它调小到200:sqoop import \...原创 2019-08-20 15:29:38 · 3199 阅读 · 2 评论 -
多种HDFS存储格式下的Sqoop全量和增量导入
背景环境介绍CentOS 6.7MySQL 5.7Coudera 5.13.01.准备数据(MySQL)1.在mysql中创建一张sqp_test表drop table if exists sqp_test;create table sqp_test( id bigint PRIMARY KEY AUTO_INCREMENT COMMENT '主键ID', c1...原创 2019-08-17 17:58:49 · 759 阅读 · 1 评论