sqoop
文章平均质量分 58
huanggang028
每一天,努力让梦想更近一些
展开
-
远程调试sqoop代码
由于sqoop运行y原创 2014-09-10 14:09:10 · 2240 阅读 · 0 评论 -
Sqoop2安装记录
我是采用的源码编译的包安装的, 主要是考虑到会对部分功能做裁剪或增强, 具体源码编译方式可以参考另外一篇博文《编译Sqoop2错误解决》。然后从dist/target目录下拷贝sqoop-1.99.3.tar.gz压缩包的内容到/usr/lib/sqoop目录中。接下来便是开始对相关配置文件进行配置,注意sqoop2是区分了server和client端的,我们首先安装服务端,记得服务端需要安装原创 2014-10-14 10:55:32 · 4049 阅读 · 6 评论 -
编译Sqoop2错误解决
Sqoop2的代码结构相对于Sqoop做了大幅度调整,其中编译方式也从ant+maven杂糅的方式变为依赖maven3,今天将源代码下下来,放到linux测试机器/export/build下后,运行“ mvn package -Pbinary -Dhadoop.profile=200 ”命令,居然出现以下错误:Downloaded: http://repo2.maven.org/maven2/原创 2014-10-13 14:35:48 · 2446 阅读 · 2 评论 -
深入理解Sqoop中的Connectors 和 Drivers
Apache Sqoop is a tool for doing highly efficient data transfers between relational databases and the Apache Hadoop ecosystem. One significant benefit of Sqoop is that it’s easy to use and can work翻译 2014-10-11 14:01:59 · 1533 阅读 · 0 评论 -
Apache Sqoop: Sqoop 2功能亮点一瞥
Apache Sqoop (incubating) was created to efficiently transfer bulk data between Hadoop and external structured datastores, such as RDBMS and data warehouses, because databases are not easily accessi翻译 2014-10-11 14:21:53 · 1320 阅读 · 0 评论 -
sqoop源码编译
== 构建前提如果要对Sqoop进行编译,需要依赖以下工具(将其加入环境变量):* Apache ant (1.7.1)* Java JDK 1.6另外,如果想生成帮助文档,还需要:* asciidoc* make* python 2.5+* xmlto* tar* gzip并且, Sqoop还引入了以下工具:翻译 2014-09-12 15:09:19 · 4978 阅读 · 1 评论 -
sqoop针对联合主键的表导入hbase的简单控制技巧
导入过程中,如果发现表示联合主键,则sqoop会原创 2014-09-11 14:23:01 · 4648 阅读 · 4 评论 -
多种字符集并存情况下sqoop从MySQL导入HBase中文乱码解决
最近在做binlog日志采集同步到数据平台的事。刚开始需要借助sqoop将从库数据表数据初始化到hbase中,整个过程都需要自动化进行,尽量减少人为干预。但是,由于历史原因,线上存在两种字符集格式的数据库(表),而导入到hbase的数据我们需要统一采用utf-8格式存储。sqoop直接导入的话,没法控制中文字符转码工作。所以需要对sqoop源码进行简单改动支持这种方式。大体思路是,通过定义一个原创 2014-09-11 18:12:38 · 3972 阅读 · 2 评论 -
导入sqoop代码到eclipse报错问题分析
将sqoop代码导入eclipse后,却发现IDE提示有错,原创 2014-09-10 14:25:24 · 885 阅读 · 1 评论 -
定制版Sqoop-- VDataHub介绍
1.1 产品概述VDataHub基于Apache Sqoop,最初定位是用于将关系数据库中的数据导入Hadoop/Hive/HBase。Sqoop基于Hadoop的MapReduce来完成数据导入导出工作,提供了很好的容错性。刚开始项目组也仅仅直接采用社区版本来完成数据导入导出。但在使用过程中,我们发现有很多地方是Sqoop现有版本没法支持的,如果不解决,是不能用于现有数据平台建设中的。基原创 2014-11-21 17:18:12 · 2535 阅读 · 0 评论