sqoop job 保存密码问题

最新推荐文章于 2021-12-21 13:44:30 发布
最新推荐文章于 2021-12-21 13:44:30 发布
阅读量2k 收藏 1
点赞数 2
分类专栏： hadoop sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aggy1120/article/details/17077983
版权

一开始没有修改过sqoop的配置文件 结果 自定义的job 在执行的时候 一定要通过命令行输入密码 即使在创建job的时候 写了 --password XXX 也不行

后来 查了官方文档才知道 一定要修改配置 添加sqoop.metastore.client.record.password 为true 才行

aggy1120
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
sqoop job执行delete、exec、show时避免输入密码(免密执行)
qq_42668255的博客
08-31 665
一、问题 1.创建job sqoop job -create job1 -- import --connect jdbc:mysql://192.168.14.217:3306/workflow --username root --password gzp --table project --target-dir /sqoop/job/job1 2.在执行如下命令提示输入密码: sqo...
运行sqoop的job时，需要输入密码，通过配置文件来避免输入密码
iilegend的博客
05-10 641
sqoop执行任务是需要输入密码，需要建立密码文件并指定--password-file文件，文件需要存放在hdfs之上，权限为400 echo -n "123456" > sqoopPWD.pwd hdfs dfs -mkdir -p /sqoop/pwd hdfs dfs -put sqoopPWD.pwd /sqoop/pwd hdfs dfs -chmod 400 /sqoop/p...
sqoop job操作及执行Job时如何省略输入MySQL保存密码
cqra94148的博客
01-15 201
一、删除Job 点击(此处)折叠或打开 sqoop job \ --delete testjob ...
sqoop job 操作及执行Job时如何省略输入密码
fengfengchen95的博客
04-25 1002
1. 创建Job说明：在创建Job时，使用--password-file参数，而且非--passoword。主要原因是在执行Job时使用--password参数将有警告，并且需要输入密码才能执行Job。当我们采用--password-file参数时，执行Job无需输入数据库密码。 sqoop  job --create etl_sync_job -- import --connect jdbc:m...
解决sqoop需要输入密码的问题
Ran
02-27 3068
解决sqoop需要输入密码的问题
sqoop job执行时避免输入密码
hchzhao_1985的博客
05-26 2232
每次执行sqoop job时，会提示输入密码，如何避免呢，有两种方法：1、在sqoop-site.xml 文件中设置：sqoop.metastore.client.record.password=true sqoop-site.xml的位置：${SQOOP_HOME}/conf下面，例如：/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/...
4、Sqoop job任务
05-29
使用`sqoop job --list` 命令可以列出所有保存的job。在示例中，我们看到输出显示了一个名为`testsqoopjob`的作业。 ```bash sqoop job --list ``` ### 四、查看job详细信息 使用`sqoop job --show <job_name>` ...
解决sqoop2导入hdfs单引号问题
11-26
使用sqoop2从mysql导入hadoop时，导入的数据带单引号。是由于sqoop2的一个bug导致，该包上传到sqoop_home/server/lib替换原来的jar包后，重启sqoop server，即可解决。
sqoop：Apache Sqoop的镜像
02-03
欢迎来到Sqoop！ 这是Sqoop（SQL到Hadoop）工具。 Sqoop允许在数据库和HDFS之间轻松导入和导出数据集。更多文件Sqoop附带其他文档：用户指南和手册页。 两者的asciidoc来源都在src/docs/ 。 运行ant docs以构建文档...
sqoop常用命令文件
05-25
Sqoop 的配置通常保存在 `$SQOOP_HOME/conf` 目录下的 `sqoop-site.xml` 文件中，可以在这里设置连接参数、缓存大小等高级选项。 以上只是 Sqoop 常用命令的一部分，实际使用中还有更多高级特性和选项，如分区导入...
sqoop从mysql到hive的时间字段问题
01-07
一、问题发现与分析 ...经过对比：sqoop在转换MySQL的datatime字段类型为hive的string时会出现问题：默认先转为对应时间戳，再转换为北京市区时间，就会使时间多8小时。 解决办法有两个： 1、在sql里将时间字段转换为
如何避免sqoop执行job时让输入密码
天天臭乐呵
07-09 860
执行如下命令时让输入db的密码：sqoop job --exec jobname在sqoop-site.xml 文件中设置：sqoop.metastore.client.record.password=true sqoop-site.xml的位置：${SQOOP_HOME}/conf下面，例如：/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/l...
sqoop 的job使用方式及密码保存
zld_555的博客
12-20 2470
sqoop 的job使用方式 基本使用说明 job参数说明 功能简单明了。 Argument Description --create <job-id> Define a new saved job with the specified job-id (name). A second Sqoop command-line, separated by a -- shoul...
sqoop运行job避免输入密码的解决方案
a904364908的博客
08-03 1038
最近在增量同步mysql的数据到hive中,用sqoop进行增量导入,将增量任务设置为sqoop的job,每天定时跑sqoop的job就可以了,在创建job的时候sqoop给出提示,不要在命令行使用明文密码. 创建job命令: bin/sqoop job --create test01job -- import \ --connect jdbc:localhost:3306/test --user...
sqoop 使用过程中提供密码的几种方式详解
爱编程
01-03 6606
概述 本博文基于Sqoop1.4.6版本讲解在使用Sqoop工具从关系型数据库中导入导出数据过程中管理关系型数据库密码的几种方式。 这里我们通过讲解sqoopimport命令来说明： sqoop import在实际应用中主要用于将数据从关系型数据库（比如MySQL，SqlServer，Oracle等）导入到大数据集群文件系统（比如HDFS文件系统，HBase列式存储系统以及Hive数
SQOOP Job使用
UniqueChunBlog
10-10 4272
一、SQOOP Job 使用方法查看 sqoop job --help usage: sqoop job [GENERIC-ARGS] [JOB-ARGS] [-- [] [TOOL-ARGS]] Job management arguments: --create Create a new saved job --delete
第一章 Sqoop专题之基本命令
qq_27924553的博客
12-21 1643
sqoop基本使用
sqoop 常用命令整理（一）
weixin_34186931的博客
09-09 382
这些内容是从sqoop的官网整理出来的，是1.4.3版本的Document，如果有错误，希望大家指正。 1.使用sqoop导入数据 sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST 2.账号密码 sqoop import --connect jd...
sqoop访问mysql权限_一个sqoop 导入数据库的问题 不知道什么原因 我把权限都给了 怎么提示我权限不对...
weixin_32251525的博客
02-04 863
11/10/3122:24:59WARNtool.BaseSqoopTool:Settingyourpasswordonthecommand-lineisinsecure.Considerusing-Pinstead.11/10/3122:24:59INFOtool.BaseSqoopTool:UsingHive-specificdeli...11/10/31 22:24:59 WARN tool...
sqoop job 任务脚本
最新发布
08-12
如果你想要用crontab自动调用sqoop，而不需要手动输入密码，可以参考Sqoop Job 应用(二)的解决方案。具体详情请参考链接: https://blog.csdn.net/weixin_42003671/article/details/90019323。<span class="em">1...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值