sqoop
文章平均质量分 67
Rosen_Luo
这个作者很懒,什么都没留下…
展开
-
sqoop1.99.4安装与应用
1. 版本信息:hadoop版本:2.4.0,sqoop版本:sqoop-1.99.4-bin-hadoop200 2. 首先将下载好的sqoop-1.99.4-bin-hadoop200.tar.gz解压,并放到常用程序安装目录:/usr 3. 修改环境变量: sudo /etc/profile: 添加如下内容: #sqoop export SQOOP_HOME=/usr/sq原创 2015-11-09 16:57:39 · 714 阅读 · 0 评论 -
sqoop1 命令说明
1. 概述 本文档主要对SQOOP的使用进行了说明,参考内容主要来自于Cloudera SQOOP的官方文档。为了用中文更清楚明白地描述各参数的使用含义,本文档几乎所有参数使用说明都经过了我的实际验证而得到。 2. codegen 将关系数据库表映射为一个java文件、java class类、以及相关的jar包,作用主要是两方面: 1、 将数据库表映射为一转载 2015-11-09 17:06:10 · 2458 阅读 · 2 评论 -
Sqoop1.4.6 增量导入HDFS
一、 增量导入模式简介 Sqoop提供将新数据导入,而已经导入的数据不再执行导入操作,即增量导入操作。使用以下参数: --check-column (col) 指定一个“标志列”用于判断增量导入的数据范围,该列不能是字符型,最好是数字或者日期型(这个很好理解吧)。 --incremental (mode) 指定增量模式,包含“追加模式” append原创 2015-11-10 16:12:49 · 2251 阅读 · 0 评论 -
用sqoop导入大表的问题
用sqoop全量地往HDFS中导入一张大表,大概30G左右。运行的过程总是不成功,抓了日志分析,发现是sqoop运行时候抛出了MySQL的异常: java.sql.SQLException: Incorrect key file for table '/tmp/#sql_f27_0.MYI'; try to repair it 再分析,发现是sqoop解析SQL语句后,会组装出一条边界确认原创 2015-12-21 16:25:14 · 3898 阅读 · 0 评论 -
sqoop1.4.6实现Mysql与HDFS/Hbase的数据迁移
简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。 http://sqoop.apache.org/ 环境 当调试过程出现IncompatibleC原创 2015-11-09 16:45:14 · 2444 阅读 · 0 评论