sqoop
早上的阳光
拥有多年软件开发经验,两个国家级管理证书,一个国际管理认证证书,一直奋斗在一线的IT民工。
展开
-
sqoop操作 关系和非关系型数据库之间数据迁移
最近在学sqoop 于是自己看了网上的一个小案例 ,自己也动手尝试了一下,感觉案例不错,就转载了。Extraction-Transformation-Loading的缩写,中文名称为数据提取、转换和加载。将数据从ORACLE中抽取数据,经过hive进行分析转换,最后存放到ORACLE中去。 本案例是纯demo级别,练手使用一、需求将emp和dept表的数据分析最后存转载 2015-12-09 09:26:48 · 1511 阅读 · 0 评论 -
sqoop 从oracle 导入hdfs 上报 java heap space 错误
使用sqoop把oracle 中的表 导入到hdfs 上,当数据量很小时,map/reduce的过程中就会提示 java heap space error。经过查找原因和尝试,解决方法有两个:1、 对每个运行子进程的jvm大小进行设定修改mapred-site.xml文件,添加以下属性: mapred.child.java.opts -X原创 2016-03-17 14:23:01 · 2551 阅读 · 0 评论 -
sqoop.Sqoop: Got exception running Sqoop: java.lang.IllegalArgumentException: There is no column fou
16/04/01 12:00:48 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.IllegalArgumentException: There is no column found in the target table ss_ip_cluster. Please ensure that your table name原创 2016-04-01 12:10:56 · 7284 阅读 · 0 评论