![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Sqoop
ysjh0014
QQ:3463446481
展开
-
Sqoop常用命令及参数二
4.create-hive-table 生成与关系数据库表结构对应的 hive 表结构 --hive-home <dir> Hive 的安装目录,可以通过该参数覆盖掉默认的 Hive 目 录 --hive-overwrite 覆盖掉在 Hive 表中已经存在的数据 --create-hive-table 默认是 false,如果目标表已经存在了,那么...原创 2018-09-13 17:47:12 · 348 阅读 · 0 评论 -
Sqoop常用命令及参数一
常用命令列举 import 将数据导入到集群 export 将集群数据导出 codegen 获取数据库中某张表数据生成 Java 并打包Jar create-hive-table 创建 Hive 表 eval 查看 SQL 执行结果 import-all-tables 导入某个数据库下所有表到 HDFS 中 job 用来生成一个 ...原创 2018-09-13 17:39:41 · 1755 阅读 · 0 评论 -
Sqoop中脚本打包
1.创建一个.opt文件 touch test.opt; 2.编写Sqoop脚本 vi test.opt; 将下面代码写入脚本文件中 export \ --connect jdbc:mysql://172.17.0.6:3306/ys \ --username root \ --password root \ --table test \ --num-mappers 1 ...原创 2018-09-13 16:51:58 · 369 阅读 · 0 评论 -
使用Sqoop导出数据
导出: 从大数据集群(Hive,Hdsf,Hbase)导出数据到RDBMS中 从Hive/Hdfs中导出数据到RDBMS(mysql) bin/sqoop export \ --connect jdbc:mysql://172.17.0.6:3306/ys \ --username root \ --password root \ --table test \ --num-mapper...原创 2018-09-13 16:41:35 · 169 阅读 · 0 评论 -
Sqoop简介
Apache Sqoop(TM)是一种旨在有效地在 Apache Hadoop 和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop 于 2012 年 3 月孵化出来,现在是一个顶级的 Apache 项目 最新的稳定版本是1.4.7,1.99.7与1.4.7不兼容且功能不完整,不适用于生产部署 Sqoop官方网站: http://sqoop.apache.org/ ...原创 2018-09-12 20:57:04 · 196 阅读 · 0 评论 -
Sqoop导入数据到HDFS的一些常用设置
*只导入表中数据的某些列 bin/sqoop import \ --connect jdbc:mysql://192.168.83.112:3306/test \ --username root \ --password root \ --table student \ --target-dir /user/root/sqoop/import/student \ --num-mapp...原创 2018-07-16 14:03:37 · 2287 阅读 · 0 评论 -
使用Sqoop导入数据
1.RDBMS到HDFS Sqoop把关系型数据库(这里以mysql为例)的数据导入到HDFS中,主要分为两步 *得到元数据(mysql数据库中的数据) *提交map 这样流程就很清晰了,首先连接到mysql数据库得到表中的数据,然后进行map任务即可 1)先在mysql中创建一张表 create table ys.test(id int(...原创 2018-07-16 11:40:20 · 1426 阅读 · 0 评论 -
Sqoop的安装及基本使用
Sqoop的安装: Sqoop的安装非常简单,首先Sqoop的底层是mapreduce,所以必须依赖于hadoop 将Sqoop的压缩包上传解压后,然后修改配置文件即可 先将conf目录下的 sqoop-env-template.sh修改为 sqoop-env.sh,然后再如上图所示修改, 最后将mysql的驱动包拷贝到sqoop的lib目录下 Sqoop的基本使用: s...原创 2018-07-13 16:58:22 · 4147 阅读 · 0 评论