sqoop import hbase by kerberos安全认证下

最新推荐文章于 2023-05-08 22:44:35 发布
VIP文章 最新推荐文章于 2023-05-08 22:44:35 发布
阅读量511 收藏
点赞数
分类专栏： hadoop 文章标签： sqoop import kerberos exception renewer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fanchw/article/details/107386588
版权 
2020-07-15 16:30:47,365 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Can't get Master Kerberos principal for use as renewer
        at org.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodesInternal(TokenCache.java:116)
        at org.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodesInternal(TokenCache.java:100)
        at org.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodes(TokenCache.java:80)
        at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:142)
        at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:266)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:139)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
        at java.security.AccessController.doPrivileged(Native Method
最低0.47元/天 解锁文章
FreyFan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop接入kerberos安全认证后，本地运行正常，但提交到yarn上连接hive报错： Unable to obtain password from user
周源的专栏
09-17 1万+
日志信息： 2018-09-17 11:31:30,774 INFO [OutputFormatLoader-consumer] com.chinacreator.sqoop.connector.hive.HiveExecutor: 连接hive失败java.io.IOException: Login failure for sqoop/[email protected] from keyta...
sqoop把mysql数据导入hbase2.1.6
03-13
sqoop把mysql数据导入hbase2.1.6（提示错误及解决方案）
安装笔记：hadoop+hbase+sqoop2+phoenix+kerberos
01-12
利用两台云主机（真实环境至少三台）安装hadoop+hbase+sqoop2+phoenix+kerberos的过程笔记，从伪分布式到kerberos认证。
sqoop2 java api实现_Sqoop2架构与功能说明(1.99.3)
weixin_35780601的博客
02-22 257
介绍Sqoop是一个开源的ETL软件。通过Sqoop可以在关系数据库(如Oracle、MySQL)与HDFS之间导入和导出数据。Sqoop通过Hadoop的MapReduce将关系数据库中的数据导入到HDFS中。Sqoop也支持从HDFS数据导出到关系数据库。关系数据库方面：Sqoop支持可通过JDBC驱动访问的各种常见数据库。比如Oracle、MySQL、Microsoft SQL Server...
Sqoop1 篇章
weixin_42728895的博客
08-25 263
Sqoop 原理 将导入或导出命令翻译成 mapreduce 程序来实现。 一、Mysql --》HDFS 1.全部导入 $ bin/sqoop import \ --connect jdbc:mysql://linux01:3306/company \ --username root \ --password 123456 \ --table staff \ --target-dir /user/company \ --delete-target-dir \ --num-mappers 1 \ --fie
sqoop的安装与配置
u011250186的博客
07-19 432
最近需要将MySQL的数据导出到HDFS，所以搜到了sqoop2。跟sqoop1相比，sqoop2的好处是直接使用程序连接到集群上的sqoop，远程操作。流程是需要先创建link也可以理解成要操作的对象，比如一个link是hdfs，一个link是mysql，有了link后需要创建job，创建job需要指定这两个link进行交互，设置from和to的关系，然后执行job就可以了。 安装： 安装真是个大问题，问题简直层出不穷，花了我整整一个晚上才把它勉强弄好，下面记录一下安装路上遇到的坑s。 首先，我..
关于星环TDH产品的Java通过Kerberos安全认证连接hyperbase
public_stati的博客
03-22 779
这个是星环的官方文档,也可以按照他的配,实现他的前提是要你的客户端开启Kerberos认证的,还要注意每次关闭和开启都要重新下载hyperbase.Kerberos文件。首先,如果要运行上面的东西,你需要去星环所在服务器上自己下载jar包依赖,并且还要自己去星环平台下载他们的客户端到自己主机,不然会找不到认证文件。Kerberos 所管理的一个用户或者一个服务，可以理解为 Kerberos 中保存的一个账号，2）Realm：Kerberos 所管理的一个领域或范围，称之为一个 Realm。
sqoop安装与验证
Allenzyg的博客
05-15 1638
解压 将sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz拷贝到linux下，然后解压 tar –zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 然后进入新生成的目录 cd sqoop-1.4.6.bin__hadoop-2.0.4-alpha cd /conf cp sqoop-env-template.sh sqoop-env.sh 修改sqoop-env.sh(下面的目录换成你自己的安装目录) #
大数据:基于Docker离线部署2.7.4版本ambari及启用kerberos安全认证(物理机同理)
03-17
1.离线部署ambari 2.7.4及HDP大数据...3.开启kerberos权限认证服务，并提供相关Demo 4.支持HDFS、Spark、Yarn、MapReduce、Hive、Pig、 HBase、Zookeeper、Sqoop和Hcatalog等 5.很详细的文档，包括各种可能出现的Bug
sqoop安装详解以及sqoop介绍
07-04
sqoop安装详解以及sqoop内容介绍使用介绍 集群介绍 sqoop：是一个工具，主要用于导入导出，实现MySQL到Hadoop之间数据的转换 2、导入数据：从结构化数据（Mysql,oracle,db2,）导入到半结构化或非结构化hadoop中（HDFS、HIVE、HBASE） 3、导出数据：从haoop中将数据导出到关系数据库中MySql
Sqoop通过Phoenix导hbase数据到hive
11-06
at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:515) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:621) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop...
sqoop学习文档(2){Sqoop import、Sqoop export}.docx
07-28
sqoop学习文档(2){Sqoop import、Sqoop export}。记录我的学习之旅，每份文档倾心倾力，带我成我大牛，回头观望满脸笑意，望大家多多给予意见，有问题或错误，请联系 我将及时改正；借鉴文章标明出处，谢谢
CDH数仓项目(三) —— Kerberos安全认证和Sentry权限管理
不以物喜的博客
02-02 2491
CDH数仓项目基于Kerberos安全认证和Sentry权限管理详细说明
【云原生】Sqoop on k8s 讲解与实战操作
匠人精神，持之以恒！
11-13 1435
Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是MySQL、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率，而且相比Kettle等传统ETL工具，任务跑在Hadoop集群上，减少了ETL服务器资源的使用情况。在特定场景下，抽取过程会有很大的性能提升。大数据Hadoop之——数据同步工具Sqoop【云原生】Hadoop HA on k8s 环境部署。
Hadoop生态(6):Sqoop
m0_56719462的博客
05-08 559
其中，--connect参数指定数据库连接信息，--username参数指定数据库用户名，--password参数指定数据库密码，--table参数指定要导入的表名，--m参数指定并行度，--target-dir参数指定导入数据的目录。其中，--connect参数指定数据库连接信息，--username参数指定数据库用户名，--password参数指定数据库密码，--table参数指定要导出的表名，--export-dir参数指定要导出的数据目录。
Sqoop2开启Kerberos安全模式
木木与呆呆的专栏
05-12 1300
Sqoop2开启Kerberos安全模式， 基于版本sqoop-1.99.7， 在已经安装好的sqoop2环境上配置kerberos。 1.安装规划 10.43.159.9 zdh-9 sqoop2krb/zdh1234 10.43.159.11 zdh-11 kerberos server 2.创建keytab 在zdh-11上，登陆root用户在/ro...
mysql kerberos_sqoop集成Kerberos
weixin_39616798的博客
02-07 252
创建密钥文件 /var/opt/app/keytab/zkcli.keyTab创建配置文件：/var/opt/app/keytab/gss-jaas.confcom.sun.security.jgss.initiate {com.sun.security.auth.module.Krb5LoginModule requireduseKeyTab=trueuseTicketCache=falsepr...
kerberos认证可以通过keytab文件认证用户
fanchw的专栏
07-07 7128
1.获取认证密码 klist -kt /etc/hyperbase1/conf/hyperbase.keytab [root@node11 ~]# klist -kt /etc/hyperbase1/conf/hyperbase.keytab Keytab name: FILE:/etc/hyperbase1/conf/hyperbase.keytab KVNO Timestamp Principal ---- ------------------- ------------
sqoop import hive 配置了ldap 认证
最新发布
06-06
如果你的Hive环境启用了LDAP认证，那么在使用Sqoop导入数据时，需要在Sqoop命令中指定Kerberos认证相关参数。 以下是一个示例命令： ``` sqoop import \ --connect jdbc:mysql://hostname:port/dbname \ --username hive \ --password hive_password \ --table table_name \ --hive-import \ --hive-table hive_table_name \ --create-hive-table \ --hive-overwrite \ --hiveconf hive.metastore.uris=thrift://hive-metastore-hostname:9083 \ --hiveconf hive.server2.authentication.kerberos.principal=hive/[email protected] \ --hiveconf hive.server2.authentication.kerberos.keytab=/path/to/hive.keytab \ --hiveconf hive.server2.authentication.ldap.url=ldap://ldap-server-hostname:389 \ --hiveconf hive.server2.authentication.ldap.baseDN=dc=ldap,dc=example,dc=com \ --hiveconf hive.server2.authentication.ldap.Domain=ldap.example.com \ --hiveconf hive.server2.authentication.ldap.Group=ldap_group_name \ --hiveconf hive.server2.authentication.ldap.UserDNPattern=uid={0},ou=users,dc=ldap,dc=example,dc=com ``` 其中，需要注意以下几点： 1. `hive.metastore.uris` 参数需要指定Hive metastore的地址，这里使用了thrift协议； 2. `hive.server2.authentication.kerberos.principal` 参数需要指定Hive服务的Kerberos principal名称； 3. `hive.server2.authentication.kerberos.keytab` 参数需要指定Hive服务的Kerberos keytab路径； 4. `hive.server2.authentication.ldap.url` 参数需要指定LDAP服务器的地址和端口号； 5. `hive.server2.authentication.ldap.baseDN` 参数需要指定LDAP根目录的DN； 6. `hive.server2.authentication.ldap.Domain` 参数需要指定LDAP域名； 7. `hive.server2.authentication.ldap.Group` 参数需要指定LDAP中的用户组名称； 8. `hive.server2.authentication.ldap.UserDNPattern` 参数需要指定LDAP中用户的DN格式。 根据实际情况，你需要替换上述命令中的一些参数的值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值