kerberos-3.kettle连接hive kerberos(windows下)

最新推荐文章于 2024-07-11 00:30:05 发布
最新推荐文章于 2024-07-11 00:30:05 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： kerberos kettle 文章标签： kerberos hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/github_39319229/article/details/112694072
版权

  1. 拿到认证所需要的服务器keytab文件

  2. 本地安装mit kerberos并认证, 参考kerberos-05.windows安装mit kerberos并认证

  3. 配置kettle登录地址及参数

地址： jdbc:hive2://n1.bigdatatest.com:10000/default;principal=hive/n1.bigdatatest.com@BIGDATATEST.COM
参数：
-Dsun.security.krb5.debug=true
-Djava.security.krb5.realm=BIGDATATEST.COM
-Djava.security.krb5.kdc=n1.bigdatatest.com
-Djavax.security.auth.useSubjectCredsOnly=false

配置spoon.bat 在set OPT 后追加参数
在这里插入图片描述

配置kettle数据库连接
在这里插入图片描述
在这里插入图片描述

  1. 调试及日志查看
    如果还是不能成功连接。可在$KETTLE_HOME/logs/spoon.log查看日志，针对性解决问题
董不懂22
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
K8s 环境下. DataGrip连接 kerberos认证的hive
yy的博客
09-05 1415
hive kerberos datargip
kettle连接Hive操作
xxydzyr的博客
10-08 6389
kettle连接Hive操作 文章目录kettle连接Hive操作从Hive中下载数据到excel中向Hive中写入数据通过Hadoopcopyfiles作业组件把数据加载到hive数据库中执行Hive的SQL语句 从Hive中下载数据到excel中 拉出表输入步骤，然后创建一个新的数据库连接，连接上Hive。 这里第一次连接时报错，怀疑是Hive没启动，后面在node-1上运行hive发现...
解决Kettle与Kerberos集成问题
weixin_34233856的博客
06-20 1149
本文目的：记录Kerberos环境下，通过Kettle将MySQL数据清洗到HDFS过程解决的2个问题，希望对大家有所帮助。 Kettle版本：pdi-ce-7.1.0.0-12 1、在Kerberos与Kettle集成过程中，我们有如下场景：将数据从MySQL定时抽出，然后写到HDFS。 在从MySQL取数并写入HDFS过程中，需要Kettle取得KDC认证，但无论怎么配置，还是无法解...
kettle通过kerberos认证
leveretz的博客
08-07 662
原问地址：https://blog.csdn.net/qq_35995514/article/details/106985817 目录 一、背景介绍 二、涉及kerberos 认证的步骤 1、JS 下载文件 2、JS 重命名HDFS文件 3、文件移动 三、代码 1、编写类HDFSProcess 2、编写类HDFSUtil 3、编写类 KettleKerberosUtils 4、编写类KerberosUtil 5、编写工具类PropertyUtils 一、背景介绍 在 这篇...
04、Kerberos安全认证之配置和访问Kerberos安全认证的Hive集群学习笔记
最新发布
每个人都是独一无二的，把握好自己的节奏，跟着自己的心走。
07-11 1345
04、Kerberos安全认证之配置和访问Kerberos安全认证的Hive集群学习笔记
Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问
qq_32020645的博客
06-22 4330
技术连载系列，前面内容请参考前面连载9内容:​​​​​​​Hive底层数据存储在HDFS中，HQL执行默认会转换成MR执行在Yarn中，当HDFS配置了Kerberos安全认证时，只对HDFS进行认证是不够的，因为Hive作为数据仓库基础架构也需要访问HDFS上的数据。因此，为了确保整个大数据环境的安全性，Hive也需要配置Kerberos安全认证，这样可以控制对Hive和底层HDFS数据的访问权限，防止未经授权的访问和操作，确保数据的安全性。目前对HDFS进行了Kerberos安全认证后，在Hive。
dbever连接kerberos认证的hive
weixin_40496191的博客
02-27 2609
dbever连接kerberos认知的hive
kerberos-2.datagrip（jdbc）连接hive kerberos
github_39319229的博客
01-16 3530
拿到认证所需要的服务器keytab文件 例如需要访问hive，则首先需要hive权限的秘钥文件，默认地址为/etc/security/keytabs/ 最好使用服务端hive的jdbc驱动进行连接，防止版本兼容问题。 编写安全服务文件 创建一个文件用来登录验证 com.sun.security.jgss.initiate{ com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true use.
kettle支持kerberos认证的hive集群
wangjunji34478的专栏
04-13 7952
Kettle对接指南 1.1 环境准备 1.1.1 Linux平台 安装操作系统 步骤 1安装CentOS6.5 Desktop。 步骤 1禁用防火墙，SELinux。 步骤 2添加本地主机名解析，使用vi /etc/hosts添加本地主机名解析。 162.1.115.89 kettle ----结束 步骤 1下载完整客户端，安装至目录“/opt/hadoopclient...
Datagrip如何访问集成Kerberos协议的Hive数据库
CharlesYan的博客
08-03 1046
datagrip 真是 yyds
kettle执行hive相关ktr时报错
05-06
如果Kettle与Hive之间存在安全认证，比如 Kerberos 或 LDAP，确保已正确配置了认证凭据。否则，Kettle可能无法连接到Hive服务。 再者，环境变量的设置也可能导致问题。确保Hadoop和Hive的相关环境变量如HADOOP_HOME...
这是一篇有深度的文章，没研究过kettle源码是看不懂的
Huangjiazhen711的博客
10-23 1321
直接上干货。
kettle8.2怎么连接进行了kerbros认证的hive
04-27
要在Kettle 8.2中连接进行了Kerberos认证的Hive，需要进行以下步骤： 1. 首先，需要在Kettle 8.2中安装Hadoop的JDBC驱动程序和Hive的JDBC驱动程序。 2. 然后，在Kettle 8.2中创建一个新的JDBC连接。 3. 在JDBC...
Pentaho Kettle 6.1连接CDH5.4.0集群
Syn良子的博客
08-31 1089
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 欢迎转载 　　最近把之前写的Hadoop MapReduce程序又总结了下，发现很多逻辑基本都是大致相同的，于是想到能不能利用ETL工具来进行配置相关逻辑来实现MapReduce代码自动生成并执行,这样可以简化现有以及之后的一部分工作.于是选取了上手容易并对Hadoop支持的比较成熟的Pentaho Kettl
DataGrip通过SSH隧道连接HIVE并进行Kerberos认证
毒白sir的博客
12-29 4388
DataGrip通过SSH隧道连接HIVE并进行Kerberos认证 DataGrip连接HIVE并进行Kerberos认证
Apache Hive+Kerberos安装配置及 Kettle(Pentaho)访问带 Kerberos 认证的 Hive的集成
Yore - Home
07-07 6615
本文重点介绍了客户端如何访问带有 Kerberos 认证的 Hive，其中客户端工具以 Kettle 和 DBeaver 为例。为了详细介绍整个过程，本文又介绍了如何基于 Apache 版本的 Hadoop 和 Hive 搭建带有 Kerberos 认证的大数据集群。Kerberos 客户端环境重点以 Windows 为例，因此也介绍了在 Windows 系统下如何安装 和使用 Kerberos。最后经过修改 DBeaver 和 Kettle 启动脚本，从而成功访问带有 Kerberos 认证的 Hive
求解求解Kerberos连接DataGrip报错
inseddie的博客
06-18 505
kettle如何连接hive
热门推荐
小小明-代码实体的专栏
05-10 3万+
文章目录配置测试 配置 kettle版本：kettle-6.1.0.1_07270 修改kettle-6.1.0.1_07270\plugins\pentaho-big-data-plugin\plugin.properties 将active.hadoop.configuration改为hive： active.hadoop.configuration=hive 再进入kettle-6.1.0.1_07270\plugins\pentaho-big-data-plugin\hadoop-configu
hive1.2.1 用Datagrip连接
张俊杰 的博客
09-21 1229
参考: 尊重原创. 这是原创作者,我在学习的时候,我看这个博客使用,照着操作成功了…就此记录一篇博客,留着自己以后查阅: https://blog.csdn.net/qq_27731689/article/details/101513115 下载jar包 项目中导入依赖,此时Maven仓库里面就会有这些东西,注意hive-jdbc版本要对应上,否则连不上报错. <dependency> <groupId>org.apache.hive</groupId> <ar
hive的hive-site.xml怎么配置票据
04-08
在Hive中，hive-site.xml是Hive的配置文件，用于配置Hive的各种参数和属性。配置票据（Kerberos Ticket）是为了在安全模式下使用Hive时进行身份验证和授权。 要配置票据，你需要在hive-site.xml文件中添加以下属性： 1. hive.server2.authentication.kerberos.principal：指定HiveServer2的Kerberos主体名称。 2. hive.server2.authentication.kerberos.keytab：指定HiveServer2的Kerberos密钥表路径。 3. hive.server2.authentication：设置为KERBEROS，启用Kerberos身份验证。 4. hive.metastore.sasl.enabled：设置为true，启用SASL（Simple Authentication and Security Layer）机制。 5. hive.metastore.kerberos.principal：指定Hive Metastore的Kerberos主体名称。 6. hive.metastore.kerberos.keytab.file：指定Hive Metastore的Kerberos密钥表路径。 以下是一个示例配置： ``` <configuration> ... <property> <name>hive.server2.authentication.kerberos.principal</name> <value>hive/_HOST@EXAMPLE.COM</value> </property> <property> <name>hive.server2.authentication.kerberos.keytab</name> <value>/path/to/hive.keytab</value> </property> <property> <name>hive.server2.authentication</name> <value>KERBEROS</value> </property> <property> <name>hive.metastore.sasl.enabled</name> <value>true</value> </property> <property> <name>hive.metastore.kerberos.principal</name> <value>hive/_HOST@EXAMPLE.COM</value> </property> <property> <name>hive.metastore.kerberos.keytab.file</name> <value>/path/to/hive.keytab</value> </property> ... </configuration> ``` 请注意，上述示例中的主体名称和密钥表路径应根据你的实际环境进行修改。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值