![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Sqoop
Movle
this is the way
展开
-
Sqoop简介与原理
一.Sqoop简介 Apache Sqoop™是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop于2012年3月孵化出来,现在是一个顶级的Apache项目。 请注意,1.99.7与1.4.6不兼容,且没有特征不完整,它并不打算用于生产部署。 二.Sqoop原理 将导入或导出命令翻译成mapreduce程序来实现。 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。 三.架构: 1.区别 (1)flum原创 2020-05-17 08:07:26 · 400 阅读 · 0 评论 -
Sqoop安装配置
0.前提 安装Sqoop的前提是已经具备Java和Hadoop的环境。 1.下载并解压 (1)最新版下载地址: http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2. 上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中,如我的上传目录是:/opt/soft/ 3.解压sqoop安装包到指定目录,如: cd /opt/soft tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-al原创 2020-05-17 08:09:39 · 217 阅读 · 0 评论 -
Sqoop简单使用案例
一.导入数据 在Sqoop中,“导入”概念指:从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE,HBASE)中传输数据,叫做:导入,即使用import关键字。 1.1RDBMS到HDFS 1.确定Mysql服务开启正常 2.在Mysql中新建一张表并插入一些数据 $ mysql -uroot -p000000 mysql> create database company; mysql> create table company.staff(id int(4) primary ke原创 2020-05-17 08:12:21 · 241 阅读 · 0 评论 -
Sqoop一些常用命令及参数
目录 五.Sqoop一些常用命令及参数 1.1 常用命令列举 1.2 命令&参数详解 1.2.1 公用参数:数据库连接 1.2.2 公用参数:import  .原创 2020-05-17 08:28:16 · 198 阅读 · 0 评论 -
Sqoop集成HBase:Mysql TO HBase
一.Sqoop集成HBase 1.利用Sqoop在HBase和RDBMS中进行数据的转储。 2.相关参数: 参数 描述 –column-family <family> 设置导入的目标列族 –hbase-create-table 是否自动创建不存在的HBase表(这就意味着,不需要手动提前在HBase中先建立表) –hbase-row-key <col> mysql中哪一列的值作为HBase的rowkey,如果rowkey是个组合键,则以逗号分隔(注:避免row原创 2020-05-17 09:11:38 · 186 阅读 · 0 评论