sqoop_使用

最新推荐文章于 2021-06-14 21:56:49 发布
最新推荐文章于 2021-06-14 21:56:49 发布
阅读量165 收藏
点赞数
分类专栏： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41665356/article/details/80278900
版权
本文详细介绍了 Sqoop 的各种操作，包括codegen、create-hive-table、eval、export、import等，提供了从Oracle数据库导入数据到HDFS、创建Hive表、执行SQL语句、数据导出以及导入到HBase的示例。
摘要由CSDN通过智能技术生成


命令

说明

codegen

将关系数据库表映射为一个 Java 文件、Java class 类、以及相关的 jar 包

create-hive-table

生成与关系数据库表的表结构对应的 HIVE 表

eval

以快速地使用SQL语句对关系数据库进行操作，这可以使得在使用import

这种工具进行数据导入的时候，可以预先了解相关的 SQL 语句是否正确，

并能将结果显示在控制台。

export

从 hdfs 中导数据到关系数据库中

help

帮助

import

将数据库表的数据导入到 HDFS 中

import-all-tables

将数据库中所有的表的数据导入到 HDFS 中

job

用来生成一个 sqoop 的任务，生成后，该任务并不执行，除非使用命令执行该任务。

list-databases

打印出关系数据库所有的数据库名

最低0.47元/天 解锁文章
qq_41665356
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop从sqlserver导入数据操作指令及hive创建表过程
鲁边的博客
05-10 6594
sqoop从sqlserver导入数据操作指令及hive创建表过程
sqoop建表_sqoop导入数据到hive表中的相关操作
weixin_39744230的博客
12-20 253
1.使用sqoop创建表并且指定对应的hive表中的字段的数据类型,同时指定该表的分区字段名称sqoop create-hive-table --connect "jdbc:oracle:thin:@192.168.13.1:1521/test" --username root --password 12345 --table test --hive-table myhive5 --hive-pa...
【最新】解决Github网页上图片显示失败的问题
m0_49448331的博客
12-07 296
转载链接： https://blog.csdn.net/qq_38232598/article/details/91346392?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromBaidu-1.not_use_machine_learn_pai&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromBaidu-1.no
Sqoop1导入hdfs/hive数据
weixin_44675844的博客
11-09 878
CDH先安装了Sqoop2，以为用法一样，只是结构不一样了，后来发现用法完全不一样，又把sqoop给装了回来，还复习了一波 hadoop1 是我的Mysql安装机器 exercise Mysql中测试的的数据库 test_table Mysql exercise数据库的测试表 文章目录sqoop查询mysql的数据库sqoop查看指定数据库的表把mysql表的表结构导入到hive中把mysql的数据导入到hive中append增量导入数据lastmodified增量导入 选项 含义
sqoop导入命令，从关系型数据库到hive
小哇
10-21 439
参数说明，查看博文https://blog.csdn.net/qq_41712271/article/details/101152891 把MySQL数据库中的某个表数据导入到Hive中 指定行分隔符和列分隔符，指定hive-import，指定覆盖导入，指定自动创建hive表，指定表名，指定删除中间结果数据目录 sqoop import \ --connect jdbc:mysql://127.0.0.1:3306/linshi_1 \ --username root \ --passwor.
sqoop_export.zip
08-16
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，...
Sqoop_1.4.6安装包.rar
02-11
本资源提供的 Sqoop_1.4.6 安装包，是一个适用于大数据处理环境的重要组件，主要用于解决传统数据库与Hadoop之间的数据迁移问题。 Sqoop的工作原理主要基于MapReduce，它将数据库中的数据批量导入到HDFS（Hadoop...
sqoop_day.zip
11-16
D:\Documents\Desktop\CRM项目\CRM任务调度\ods层\增量抽取\从MySQL中按天增量抽取hive中,D:\Documents\Desktop\CRM项目\CRM任务调度\ods层\增量抽取\从MySQL中按天增量抽取hive中,D:\Documents\Desktop\CRM项目\CRM...
hadoop搭建 zookeeper_hbase_hive_sqoop_mysql_spark_hdfs.doc
10-20
此外，还可以使用监控工具如Ambari来管理和监控整个Hadoop集群的健康状态。 以上就是搭建Hadoop环境的基本步骤，需要注意的是，整个过程需要对Linux系统、网络配置和大数据组件有深入理解。在实际操作中，可能还会...
MySqoop_Sqoop脚本生成_sqoop脚本_
09-30
本篇文章将详细讲解 Sqoop 脚本生成的相关知识，并介绍如何使用可视化工具"MySqoop"来生成Sqoop脚本。 首先，让我们理解什么是Sqoop脚本。Sqoop脚本是预定义的一系列操作，包括连接数据库、指定表、定义转换规则、...
Sqoop 一些常用命令及参数
Da.的博客
06-29 7470
1、 常用命令列举 这里给大家列出来了一部分 Sqoop 操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。 序号 命令 类 说明 1 import ImportTool 将数据导入到集群 2 export ExportTool 将集群数据导出 3 codegen CodeGenTool 获取数...
hive数据库操作与sqoop工具的使用
晓晓的天空
05-14 664
hive数据库操作与sqoop工具的使用
sqoop建表_利用sqoop将mysql的数据表结构导入到hive中，并且新建表格
weixin_39891438的博客
12-20 230
#!/bin/bashhive -e "drop table if exists dim.media_video"sqoop create-hive-table --connect jdbc:mysql://hadoop103:3306/autopai-content --username root --password 000000 --table wt_media_video --hive...
大数据--Hadoop生态7--sqoop总结
数据挖掘+大数据研发+算法学习
03-16 389
一：sqoop简介 sqoop是一个高效传输海量数据而设计的工具，一般用于从关系型数据库同步数据到非关系型数据库中。 使用sqoop进行数据的导入，导出，其本质上是运行Mapreduce程序，充分利用了MR的并行化和容错性。 sqoop支持增量更新，将新记录添加到最近一次的导出的数据源上。 二：sqoop使用 获取MySQL数据库中数据库名称 sqoop list-database -connect 'jdbc:mysql://10.1.96.xx:3306' -username t..
【大数据技术详解】当使用sqoopcreate-hive-table创建SQL表一样的hive表时容易的错误EncounteredIOExceptionrunning create table job
liuchunhang的博客
12-21 1173
一解决使用sqoop create-hive-table创建SQL表一样的hive表表时容易遇到的错误：Encountered IOException running create table job 1sql表city_info为: 2使用sqoop创建SQL表一样的hive表hivecity： sqoop create-hive-table --connect jdbc:mysql://sh...
sqoop常用命令
热门推荐
duan19056的专栏
12-12 3万+
1、列出mysql数据库中的所有数据库  sqoop list-databases --connect jdbc:mysql://localhost:3306/ -username dyh -password 000000   2、连接mysql并列出数据库中的表 sqoop list-tables --connect jdbc:mysql://localhost:3306/test --
sqoop工具常用Hive操作
nisjlvhudy的专栏
11-05 1461
 1、查看sqoop命令说明 [spark@Master data_dir]$ sqoop help usage: sqoop COMMAND [ARGS] Available commands: codegen Generate code to interact with database records create-hive-table Impo
sqoop创建hive表结构以及同步数据
wudonglianga的专栏
06-14 876
1.sqoop创建hive表结构以及同步数据 命令 创建hive 表结构 /export/servers/sqoop/bin/sqoop create-hive-table \ --connect jdbc:mysql://192.168.1.140:3306/tags_dat \ --table tbl_users \ --username root \ --password 123456 \ --hive-table tags_dat.tbl_users \ --fields-terminated-by
vi sqoop-env.sh export HADOOP_COMMON_HOME=/opt/programs/hadoop-2.7.6 export HADOOP_MAPRED_HOME=/opt/programs/hadoop-2.7.6 export HIVE_HOME=/opt/programs/apache-hive-1.2.2-bin vi /etc/profile export SQOOP_HOME=/opt/programs/sqoop-1.4.7.bin__hadoop-2.6.0 export PATH=$PATH:${SQOOP_HOME}/bin export CLASSPATH=$CLASSPATH:${SQOOP_HOME}/lib source /etc/profile sqoop version
最新发布
06-11
这似乎不是一个问题，而是一组命令。这些命令的作用是设置Sqoop所需的环境变量和路径，并检查Sqoop的版本。其中，vi是一个文本编辑器，用于编辑sqoop-env.sh和/etc/profile文件。export命令用于设置环境变量，source命令用于加载/etc/profile文件并使更改立即生效。如果您有任何具体的问题或需要更多信息，请告诉我。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值