sqoop import hbase by kerberos安全认证下

最新推荐文章于 2024-01-31 20:30:23 发布
最新推荐文章于 2024-01-31 20:30:23 发布
阅读量545 收藏
点赞数
分类专栏： hadoop 文章标签： sqoop import kerberos exception renewer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fanchw/article/details/107386588
版权
在使用sqoop import到HBase的过程中遇到Kerberos安全认证异常，问题根源在于tdh-client版本过旧，不匹配升级后的tdh版本。解决方法是下载最新tdh-client并执行init.sh，这样可以成功解决认证问题。
摘要由CSDN通过智能技术生成 
2020-07-15 16:30:47,365 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Can't get Master Kerberos principal for use as renewer
        at org.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodesInternal(TokenCache.java:116)
        at org.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodesInternal(TokenCache.java:100)
        at org.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodes(TokenCache.java:80)
        at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:142)
        at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:266)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:139)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
        at java.security.AccessController.doPrivileged(Native Method
最低0.47元/天 解锁文章
FreyFan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Sqoop原理与代码实例讲解
程序员光剑
06-19 942
Sqoop原理与代码实例讲解 1.背景介绍 在大数据时代,数据的存储和处理已经不再局限于单一的数据库系统。企业中的数据通常分布在多个异构系统中,如关系型数据库(RDBMS)、NoSQL数据库、大数据平台等。为了充分利用这些数据,需要将它们集中存储到一个统一的大数据平台中进行分析和处理。Apach
Sqoop安全性：确保安全的数据传输
晓晓的天空
01-16 1063
确保Sqoop数据传输的安全性是大数据处理中不可忽视的一部分。Sqoop提供了多种安全性措施，包括SSL加密、Kerberos认证、访问控制和日志审计等，以确保数据在传输过程中的安全性和完整性。希望本文提供的示例代码和详细内容有助于大家更好地了解和应用Sqoop的安全性特性。
安装笔记：hadoop+hbase+sqoop2+phoenix+kerberos
01-12
利用两台云主机（真实环境至少三台）安装hadoop+hbase+sqoop2+phoenix+kerberos的过程笔记，从伪分布式到kerberos认证。
Sqoop2开启Kerberos安全模式
木木与呆呆的专栏
05-12 1350
Sqoop2开启Kerberos安全模式， 基于版本sqoop-1.99.7， 在已经安装好的sqoop2环境上配置kerberos。 1.安装规划 10.43.159.9 zdh-9 sqoop2krb/zdh1234 10.43.159.11 zdh-11 kerberos server 2.创建keytab 在zdh-11上，登陆root用户在/ro...
mysql kerberos_sqoop集成Kerberos
weixin_39616798的博客
02-07 259
创建密钥文件 /var/opt/app/keytab/zkcli.keyTab创建配置文件：/var/opt/app/keytab/gss-jaas.confcom.sun.security.jgss.initiate {com.sun.security.auth.module.Krb5LoginModule requireduseKeyTab=trueuseTicketCache=falsepr...
大数据之CDH数仓(14) | 安全之Kerberos安全认证
Knight
10-11 1157
Kerberos数据库操作 登录Kerberos数据库
关于星环TDH产品的Java通过Kerberos安全认证连接hyperbase
public_stati的博客
03-22 879
这个是星环的官方文档,也可以按照他的配,实现他的前提是要你的客户端开启Kerberos认证的,还要注意每次关闭和开启都要重新下载hyperbase.Kerberos文件。首先,如果要运行上面的东西,你需要去星环所在服务器上自己下载jar包依赖,并且还要自己去星环平台下载他们的客户端到自己主机,不然会找不到认证文件。Kerberos 所管理的一个用户或者一个服务，可以理解为 Kerberos 中保存的一个账号，2）Realm：Kerberos 所管理的一个领域或范围，称之为一个 Realm。
Sqoop数据采集工具简介、安装、使用学习笔记（配合Hive和Hbase）
03-08
本篇笔记主要围绕 Sqoop 的使用场景、安装步骤以及如何配合 Hive 和 Hbase 使用进行展开。 #### 二、数据传输流程设计 最初的设计方案是通过 Sqoop 将数据从 PostgreSQL 导入到 Kafka，再通过存储程序将 Kafka 的...
Sqoop使用总结——导入数据到大数据集群import
背离赤道、逆光而行
05-20 1348
目录 RDBMS到HDFS RDBMS到Hive RDBMS到Hbase RDBMS到HDFS 1) 确定Mysql服务开启正常 2) 在Mysql中新建一张表并插入一些数据 $ mysql -uroot -proot mysql> create database company; mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(25.
sqoop安装工具
11-15
8. **安全考虑**：在实际使用中，考虑到安全性，应避免在配置文件中明文存储数据库密码，可以使用Hadoop的安全特性，如Kerberos，进行认证。 9. **高级用法**：Sqoop还支持直接导入导出到Hive、HBase等大数据存储...
sqoop安装详解以及sqoop介绍
07-04
sqoop安装详解以及sqoop内容介绍使用介绍 集群介绍 sqoop：是一个工具，主要用于导入导出，实现MySQL到Hadoop之间数据的转换 2、导入数据：从结构化数据（Mysql,oracle,db2,）导入到半结构化或非结构化hadoop中（HDFS、HIVE、HBASE） 3、导出数据：从haoop中将数据导出到关系数据库中MySql
大数据组件Sqoop-安装与验证
默默发展，无声壮大~
09-01 1620
Sqoop是一个用于在Apache Hadoop和关系型数据库（如MySQL、Oracle等）之间进行数据传输的工具。它提供了简单易用的命令行界面，可以将结构化数据从关系型数据库导入到Hadoop中的分布式文件系统（如HDFS），或者将数据从Hadoop导出到关系型数据库。
CDH数仓项目(三) —— Kerberos安全认证和Sentry权限管理
最新发布
qq_53058639的博客
01-31 1229
Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。cdh版本的hadoop在对数据安全上的处理通常采用Kerberos+Sentry的结构。kerberos主要负责平台用户的用户认证，sentry则负责数据的权限管理。（1）取消HiveServer2用户模拟。
SQOOP安装及使用-实验
ainivip的专栏
10-23 278
SQOOP安装及使用-实验 SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中 (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中 　(3)导入导出的事务是以Mapper任务为单位。 1、sqoop的安装步骤 1.1、执行命令：tar -zxvf sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz解压 1.2、执行命令：...
sqoop1.4.6 to hbase1.2 in hue4.1躺坑总结
weixin_34050389的博客
07-31 373
2019独角兽企业重金招聘Python工程师标准>>> ...
Sqoop1.99.7接入kerberos提交到yarn任务认证失效问题
z19920904的博客
07-29 455
问题：kerberos的keytabs凭证有效时间只有24h，sqoop server启动后过了24小时提交任务报认证过期提交失败。 原因：sqoop使用的jobClient是启动时创建的，并且每次submit,update或stop操作都没有刷新UGI。 具体代码位置是org.apache.sqoop.submission.mapreduce.MapreduceSubmissionEngine ...
hive kerberos java_Kerberos身份验证错误 - Sqoop通过Hive从SQL导入HDFS
weixin_39922147的博客
03-04 302
我给出了以下Sqoop命令：sqoop import \--connect "jdbc:sqlserver://ServerName:1433;databaseName=TESTDB;integratedSecurity=true" \--driver com.microsoft.sqlserver.jdbc.SQLServerDriver \--table dbo.test_table \--u...
Sqoop1 篇章
weixin_42728895的博客
08-25 280
Sqoop 原理 将导入或导出命令翻译成 mapreduce 程序来实现。 一、Mysql --》HDFS 1.全部导入 $ bin/sqoop import \ --connect jdbc:mysql://linux01:3306/company \ --username root \ --password 123456 \ --table staff \ --target-dir /user/company \ --delete-target-dir \ --num-mappers 1 \ --fie
Sqoop 操作 HBase 第1关：Sqoop 在HBase中导入
03-31
sqoop import --connect jdbc:mysql://localhost/employees --username root --password password --table employees --hbase-table employees --column-family personal --hbase-row-key id --hbase-create-table ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值