黑猴子的家：Sqoop 命令&参数：metastore

最新推荐文章于 2022-04-18 16:54:16 发布
最新推荐文章于 2022-04-18 16:54:16 发布
阅读量279 收藏
点赞数
分类专栏： Sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28652401/article/details/83508687
版权

记录了Sqoop job的元数据信息，如果不启动该服务，那么默认job元数据的存储目录为~/.sqoop，可在sqoop-site.xml中修改。

1、命令

启动sqoop的metastore服务

[victor@node1 sqoop-1.4.7]$ bin/sqoop metastore

关闭sqoop的metastore服务

[victor@node1 sqoop-1.4.7]$ bin/sqoop metastore --shutdown

2、参数

序号参数说明
1--shutdown关闭metastore
黑猴子的家
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop-td:Sqoop Teradata 连接器
07-07
Teradata 的 Sqoop 连接器 随着 Teradata 和 Hadoop 之间集成的发展不断深入，使用以 Hadoop 为中心的操作的需求也在增加。 需要将 TDCH 的一小部分导入和导出功能用于 Sqoop，这在现场使用中变得普遍。 安装 安装sqoop。 对于 MapR 发行版，以 root 用户身份从节点之一运行“yum install mapr-sqoop”。 在 sqoop 库中安装 Teradata jar。 MapReduce v1： 对于 MRv1，安装 XXXX.rpm 将 tdgssconfig.jar、teradata-connector-1.3.3.jar 和 terajdbc4.jar 移动到 /opt/mapr/sqoop/sqoop-*/lib 目录中 如果您计划使用 Hive 集成功能，请将以下 jar 链接到 /opt/mapr/sqoo
Sqoop ---- Sqoop一些常用命令及参数
在人间负债^
06-06 2018
记录了 Sqoop job 的元数据信息，如果不启动该服务，那么默认 job 元数据的存储目录为~/.sqoop，可在 sqoop-site.xml 中修改。将关系型数据库中的数据导入到 HDFS（包括 Hive，HBase）中，如果导入的是 Hive，那么当 Hive 中没有对应表时，则自动创建。这里给大家列出来了一部分Sqoop操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。刚才列举了一些 Sqoop 的常用命令，对于不同的命令，有不同的参数，让我们来一一列举说明。
Sqoop搭建
ZZJXP的博客
04-18 2261
Flume:适用于日志文件实时采集 Sqoop:适用于能与大数据集群直接通信的关系型数据库间的大批量数据传输 DataX(异构数据源离线同步工具):在异构数据库/文件系统之间高速交换数据 Kettle:图形化界面 [root@master packages]# cd .. [root@master soft]# ls 0?? jdk1.8.0_171 shell01 A?? packages show data ..
学习Hadoop第二十二课（Sqoop---数据迁移工具）
u012453843的专栏
10-28 5367
上节课我们一起学习了Hadoop集群测试，这节课我们一起学习一下Sqoop，Sqoop是专门用来迁移数据的，它可以把数据库中的数据迁移到HDFS文件系统，当然也可以从HDFS文件系统导回到数据库。       我来说一下Sqoop的使用场景，假如你们公司有个项目运行好长时间了，积累了大量的数据，现在想升级项目并换种数据库进行存储原来的数据，那么我们就需要先把数据都存放到另一个地方，然后再用新数据
第八章：sqoop数据迁移工具
小爷欣欣
04-06 3385
sqoop是专门用来迁移数据的，它可以把数据库中的数据迁移到HDFS文件系统，当然也可以从HDFS文件系统导回到数据库。       我来说一下Sqoop的使用场景，假如你们公司有个项目运行好长时间了，积累了大量的数据，现在想升级项目并换种数据库进行存储原来的数据，那么我们就需要先把数据都存放到另一个地方，然后再用新数据库的语句把这些数据插入到新的数据库。在没有Sqoop之前，我们要做到这一点是...
sqoop安装与使用
weixin_44616592的博客
02-24 1940
3）上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到hadoop102的/opt/software路径中。2）下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/2）进入到/opt/software/路径，拷贝jdbc驱动到sqoop的lib目录下。1）进入到/opt/module/sqoop/conf目录，重命名配置文件。（1）在/home/atguigu/bin目录下创建。（2）增加脚本执行权限。
使用Sqoop导出Mysql数据到Hive（实战案例）
邵奈一的博客
05-12 2307
教程目录0x00 教程内容0x01 SQL文件准备1. 准备sql脚本2. 执行sql脚本0x02 导出Mysql数据到Hive1. 导出数据到HDFS2. 构建Hive表关联HDFS（movie表）3. 构建Hive表关联HDFS（user_rating表）3.1 模拟增量添加数据操作4. 构建Hive表关联HDFS（users表）0xFF 总结 0x00 教程内容 SQL文件准备 导出Mys...
sqoop使用metastore进行增量数据抽取
迷默的博客
11-09 1887
       我们在sqoop抽取数据，肯定会 遇到这么个场景，我们肯定会用到一个调度工具来执行sqoop脚本，这时我们如果想在别的客户端也能调用该sqoop脚本，那么我们就需要使用sqoop提供的metastore，metastore它本质是一个hsql内存级数据库，sqoop通过它达到几个客户端共享sqoop脚本的信息，从而使别的客户端也能调用除自己本身创建的sqoop脚本。    在使用m...
Sqoop 一些常用命令及参数
Da.的博客
06-29 7446
1、 常用命令列举 这里给大家列出来了一部分 Sqoop 操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。 序号 命令 类 说明 1 import ImportTool 将数据导入到集群 2 export ExportTool 将集群数据导出 3 codegen CodeGenTool 获取数...
【sqoop】sqoop1使用metastore保存job
踏实做人,认真做事
06-01 2023
将job信息保存起来，让多个client之间共享job数据。 两台虚拟机分配情况 node3作为存储数据的结点。node1作为client使用。 配置 # node3 # $SQOOP_HOME/conf/sqoop-site.xml <property> <name>sqoop.metastore.server.location&l...
java连接sqoop源码-sqoop-example:sqoop-示例
06-15
java连接sqoop源码Sqoop-服务 Sqoop scala 驱动程序，带有 mysql 元存储、光滑的数据库和喷雾。 Sqoop 是一个很好的工具，用于在 HDFS 中导入和导出数据。 大多数 sqoop 作业都是通过脚本编写的，这对于临时作业来说...
sqoop常用命令参数-中文1
08-08
5.2.1、公用参数：数据库连接序号参数说明1--connect连接关系型数据库的URL2--connection-manager指定要使用的连接管理类3--d
sqoop：Apache Sqoop的镜像
02-03
欢迎来到Sqoop！ 这是Sqoop（SQL到Hadoop）工具。 Sqoop允许在数据库和HDFS之间轻松导入和导出数据集。更多文件Sqoop附带其他文档：用户指南和手册页。 两者的asciidoc来源都在src/docs/ 。 运行ant docs以构建文档...
java连接sqoop源码-sqoop-v2:sqoop支持多数据源导出
06-15
java连接sqoop源码
黑猴子的家：Sqoop 命令&参数：create-hive-table
黑猴子的博客
09-09 4074
** 生成与关系数据库表结构对应的hive表结构。** 1、命令案列 [victor@node1 sqoop-1.4.7]$ bin/sqoop create-hive-table \ --connect jdbc:mysql://node1:3306/company \ --username root \ --password 000000 \ --table staff \ --hive...
黑猴子的家：Sqoop list-databases
黑猴子的博客
09-09 1782
1、案列 [victor@node1 sqoop-1.4.7]$ bin/sqoop list-databases \ --connect jdbc:mysql://node1:3306/ \ --username root \ --password 000000 参数和公用参数一样
黑猴子的家：Sqoop list-tables
黑猴子的博客
09-09 1018
1、案列 [victor@node1 sqoop-1.4.7]$ bin/sqoop list-tables \ --connect jdbc:mysql://node1:3306/company \ --username root \ --password 000000 参数和公用参数一样
黑猴子的家：Sqoop RDBMS到Hive
黑猴子的博客
09-09 797
1、mysql 导入hive [victor@node1 sqoop-1.4.7]$ bin/sqoop import \ --connect jdbc:mysql://node1:3306/company \ --username root \ --password 000000 \ --table staff \ --num-mappers 1 \ --hive-import \ --fi...
黑猴子的家：Sqoop 命令&参数：codegen
黑猴子的博客
09-09 661
1、将关系型数据库中的表映射为一个Java类，在该类中有各列对应的各个字段。 [victor@node1 sqoop-1.4.7]$ bin/sqoop codegen \ --connect jdbc:mysql://node1:3306/company \ --username root \ --password 000000 \ --table staff \ --bindir /opt...
第1关：sqoop 在hbase中导入
最新发布
06-28
sqoop 是一种用于将关系型数据库中的数据导入到 Hadoop 生态系统中的工具。在第一关中，我们将使用 sqoop 将数据从关系型数据库中导入到 HBase 中。HBase 是一个分布式的、面向列的 NoSQL 数据库，它可以处理大量的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值