sqoop使用--query 实现查询语句查询 报Must specify destination with --target-dir.

最新推荐文章于 2022-05-02 14:15:09 发布
最新推荐文章于 2022-05-02 14:15:09 发布
阅读量2.7k 收藏 4
点赞数 1
分类专栏： 大数据组件使用方法 文章标签： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45592182/article/details/108564278
版权

使用Sqoop 报必须使用  --target-dir  

当遇到这个问题时

20/09/13 16:36:11 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
Must specify destination with --target-dir. 
Try --help for usage instructions.

 

 

sqoop 导入 Hive 分三步：
1. 先导入--target-dir 指定的 HDFS 的目录中
2. 在 Hive 中建表
3. 调用 Hive 的 LOAD DATA INPATH 把 --target-dir中的数据移动到 Hive 中

所以需要向指定计算结果导出的目录哦 !

 

 

 

爱庄哥哥
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hue中Sqoop Editor使用--query的坑
fantuanbaba的博客
11-27 3383
概述        本文描述了在Hue中Sqoop Editor使用--query的问题及解决办法。 问题        一个可以在终端运行的带—query的Sqoop脚本，在HUE 4.*版本中使用Sqoop1 Editor运行时job killed。 排查        查看Yarn日志发现一组报错，看样子 结尾的“\”不会被当作换行符，而是被认成了参数。        删...
SQOOP数据导入
热门推荐
zleven的博客
12-21 1万+
sqoop是一个用于在Hadoop和关系型数据库（Oracle，Mysql...）间数据传递的开源工具。下面以Oracle为例，介绍使用sqoop将数据从Oracle导入到Hadoop中（HDFS、Hive和HBase）。
sqoop的--query工作中的实际的使用
allen的博客
10-10 1万+
需求： 有一个需求，就是需要从hive通过sqoop导数据回oracle，但是导入过程需要用另外一张表记录导入过程，比如导入的时间、导入是否准备中或者运行中、成功或者失败，因为别人需要通过这个标志来触发一些处理。这里就可以用shell脚本结合sqoop的–query来实现。其中IS_FLAG :1为准备中 2为运行中 0为完成 -1为异常出错失败#!/bin/bash source ExitCod
sqoop导入数据‘‘--query搭配$CONDITIONS‘‘的理解
u011250186的博客
07-31 3734
目录 运行测试 原理理解 引言 sqoop在导入数据时，可以使用--query搭配sql来指定查询条件，并且还需在sql中添加$CONDITIONS，来实现并行运行mr的功能。 回到顶部 运行测试 测试均基于sqoop1，mysql数据准备如下。 （1）只要有--query+sql，就需要加$CONDITIONS，哪怕只有一个maptask。 # 只有一个maptask [hadoop@node01 /kkb/bin]$ sqoop import --connect ...
Sqoop同步mysql数据导hive中，--query 参数中，字段有特殊字段、关键字处理方法
weixin_43239554的博客
02-26 1353
Sqoop同步mysql数据导hive中，–query 参数中，字段有特殊字段、关键字处理方法 sqoop import --connect "$jdbcurl" \ --username $username \ --password $password \ --columns "id,name,describe,created_at,updated_at,deleted_at" \ --query "select id,name,\`describe\`,created_at,updated_at,del
sqoop-1.4.7.jar
01-27
把这个sqoop-1.4.7.jar放到sqoop根目录下的lib目录中，即可。 如果你没有积分，也可以自己去这个地址下载：...
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.zip
09-22
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.zip。。。。。。。。。。。。。。。。
sqoop-1.4.6.2.3.99.0-195.jar
05-21
基于atlas2.0.0编译，需要而很难找到有效地址下载不到的jar包 sqoop-1.4.6.2.3.99.0-195.jar
sqoop-1.4.6.bin__hadoop-2.0.4-alpha安装包
03-05
Sqoop是一个用于在Hadoop和关系数据库或大型机之间传输数据的...您可以使用Sqoop将关系数据库管理系统（RDBMS）中的数据导入Hadoop分布式文件系统（HDFS），转换Hadoop MapReduce中的数据，然后将数据导出回RDBMS 。
sqoop-1.4.6-cdh5.14.2.tar系列安装包
08-03
sqoop-1.4.6-cdh5.14.2.tar系列安装包
sqoop --query \$CONDITIONS HUE执行失败
chunshanhan6446的博客
09-11 664
1. HUE sqoop命令框中直接输入： sqoop-import --connect jdbc:mysql://ip地址:端口/数据库--username 用户名--password 密码--query select * from 表名where 1=1 and \$CONDIT...
sqoop语句
qq_41839921的博客
03-19 272
hadoop fs -rm -r /user/hive/warehouse/bda.db/bda_api_price/dt=$cur_date sqoop import --connect XXXX:mysql://172.129.11.11:3306/bi_platform?tinyInt1isBit=false\&zeroDateTimeBehavior=convertToNull ...
sqoop query时单双引号选用以及$CONDITION使用的探究
u011250186的博客
07-31 1176
这段时间碰见了一个奇怪的sqoop导入问题。我的业务目标是想将postgresql库里的某张表内的数据导入到hive里，而且在导入的时候需要做一步查询。但在导入的时候，围绕着"$CONDITION"这个参数，会有不同的运行结果，有的报错，有的查询结果为空，我们下面来看看： 在pgsql里的查询语句为： # postgresql 查询语句 select id,check_code,lastupdatetime,check_num,report_name,json_object_keys(reportin.
Sqoop操作
qq_45263520的博客
05-02 2681
Sqoop数据导入导出相关操作。sqoop命令中各个参数的意义。Sqoop从MySQL导出数据到HDFS，Sqoop从HDFS导出数据到MySQL。Sqoop从MySQL导出数据到Hive。Sqoop从Hive导出数据到MySQL。
Sqoop1 使用
ooeeerrtt的博客
06-29 202
sqoop安装 sqoop安装还算简单，再服务器上解压安装文件。sqoop安装目录如下： 修改配置文件conf/sqoop-env.sh（我自己改过名），指定hadoop和hive。 lib目录添加ojdbc和java_json的驱动包。 sqoop使用 oracle导入hdfs bin/sqoop import \ --connect jdbc:mysql://hadoop102:3306/comp...
shutil.copy(filename, target_dir) 的使用说明
jjw_zyfx的博客
09-19 348
# filename例子： ../data/kaggle_cifar10_tiny/train/348.png # target_dir例子： ../data/kaggle_cifar10_tiny/train_valid_test/train_valid/frog shutil.copy(filename, target_dir) 即第一个参数是要拷贝的文件 第二个参数是要拷贝到的文件夹 ...
创建Sqoop作业,报错Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject...
weixin_30485291的博客
08-22 804
WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject at ...
学习Hadoop第二十二课（Sqoop---数据迁移工具）
u012453843的专栏
10-28 5407
上节课我们一起学习了Hadoop集群测试，这节课我们一起学习一下Sqoop，Sqoop是专门用来迁移数据的，它可以把数据库中的数据迁移到HDFS文件系统，当然也可以从HDFS文件系统导回到数据库。       我来说一下Sqoop的使用场景，假如你们公司有个项目运行好长时间了，积累了大量的数据，现在想升级项目并换种数据库进行存储原来的数据，那么我们就需要先把数据都存放到另一个地方，然后再用新数据
问题小记（使用 sqoop 向 hdfs 中导入数据）
InuYasha_m的博客
04-10 241
要求：1. 使用 sqoop,将 information_schema.TABLES 表中的数据导入到 hdfs 的/tables 目录中，要求： 以 tab 键分隔 只导入 TABLE_CATALOG，TABLE_SCHEMA， TABLE_NAME，TABLE_TYPE 这 4 列 只导入表中行数大于 10 的表 我写的语句： [pm@pm ~]$ sqoop import \ --...
#!/bin/bash sqoop job --delete haibaicai sqoop job --create haibaicai \ -- import \ --connect jdbc:mysql://192.168.253.128:3306:3306/dbhome \ --driver com.mysql.jdbc.Driver \ --username root \ --password-file /sqoop/pwd/sqoopPWD.pwd \ --table haibaicai \ --delete-target-dir \ --target-dir /user/hive/warehouse/dbhome.db/haibaicai \ --fields-terminated-by '\001' sqoop job --exec haibaicai
最新发布
06-08
这个脚本的作用是使用sqoop将MySQL中的haibaicai表导入到Hive的dbhome数据库中的haibaicai表中，导入时使用'\001'作为字段分隔符，并且在导入前会删除Hive中已有的目标目录。 但是，这个脚本中的一些参数可能存在问题： 1. `--connect`参数的URL是不正确的，应该是`jdbc:mysql://192.168.253.128:3306/dbhome`，不需要写两个冒号。 2. `--delete-target-dir`参数在一些版本的sqoop中已被弃用，可以使用`--delete-target-dir -m 1`替代。 3. `--fields-terminated-by`参数应该是`--fields-terminated-by '\001'`，而不是`--fields-terminated-by \001`。 建议您对脚本进行以下修改： ``` #!/bin/bash sqoop job --delete haibaicai sqoop job --create haibaicai \ --import \ --connect jdbc:mysql://192.168.253.128:3306/dbhome \ --driver com.mysql.jdbc.Driver \ --username root \ --password-file /sqoop/pwd/sqoopPWD.pwd \ --table haibaicai \ --delete-target-dir -m 1 \ --target-dir /user/hive/warehouse/dbhome.db/haibaicai \ --fields-terminated-by '\001' sqoop job --exec haibaicai ``` 这个修改后的脚本应该可以正常运行了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值