【大数据】大数据常用操作、杂谈

最新推荐文章于 2022-09-15 14:50:57 发布
最新推荐文章于 2022-09-15 14:50:57 发布
阅读量229 收藏
点赞数
文章标签： hive big data hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mrerlou/article/details/120766709
版权

常见操作：

  1. 连接impala
impala-shell -i impala-jdbc.com:21000 -u hive -s hive
  1. 连接hive server2
beeline -u 'jdbc:hive2://dx-spark09.dx:10000/rtj;principal=hive/dx-spark09.dx@HADOOP.COM'
  1. 认证HIVE Kerberos
kinit -kt /opt/hive.keytab hive/bi-hadoop02.b28.rong360.com@HADOOP.COM
  1. 认证HDFS Kerberos
kinit -kt /opt/hdfs.keytab hdfs/bi-hadoop02.b28.rong360.com@HADOOP.COM

大数据杂谈：

注意点1：hive的函数

函数在创建的时候如果带有数据库名，则该UDF函数只对该库生效，其它库无法使用该UDF函数。

注意点2：连接 kerberos hive

连接kerberos 的hive principal是 hiveserver2的principal，不是本机的。

kiraraLou
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
一篇文章彻底理解 HIVE 常见的三种 AUTHENTICATION 认证机制的配置与使用
明哥的IT随笔
01-05 3111
一篇文章彻底理解 HIVE 常见的三种 AUTHENTICATION 认证机制的配置与使用大家好，我是明哥！本片博文，分享下 HIVE 常见的三种 AUTHENTICATION 认证机制，...
principal java_CAS 单点登录服务端 如何获取到principal
weixin_29507477的博客
02-28 1419
1、deployerConfigContext.xml文件1.1 登录验证类配置class="com.alan.cas.control.authentication.SessionAcceptUserAuthenticationHandler">1.2凭证解析类配置(给客户端返回更多的信息)2.登录验证成功后，我把一些信息保存在principal中，希望在解析类中获取到，但是却不能获取到。希...
(转载)详解Hive配置Kerberos认证
医疗影像检索
05-11 1万+
Hive提供了运行SQL语句查询存储在HDFS上数据的能力，Hive提供的查询引擎，可以将SQL语句转化成MapReduce任务，提交到Hadoop集群上执行。MapReduce任务运行的结果会存在HDFS上。下面的图表示了一个用户运行Hive查询的Hadoop内部交互。 有多种和Hive交互的方法，最常用的是CLI，不过，CLI的设计使其不便于通过编程的方式进行访问。还有可以使
kerberos认证相关概念和流程
最新发布
dkjhl的博客
09-15 1725
你的hadoop有十台主机，/etc/hosts配置的host为hadoop[1-10].hadoop.com，name在定义你的Kerberos的Realm时就是HADOOP.COM，你创建的客户端的服务端的principal都是以@HADOOP.COM结尾。为什么说”默认基于jaas配置”呢。SASL作为高层次框架，定义的是一套接口，看一下接口定义，就能领会到其实GSSAPI是其中一种实现，换句话说，在进行基于kerberos认证的时候，既能够间接应用GSSAPI层接口，也能够应用sasl层的接口。
总结：大数据服务
w2009211777的专栏
08-10 2558
Hadoop大数据服务梳理
hive的beeline使用
data2tech的博客
03-02 2909
Hive CLI是一种重客户端，在新版本中已移除，推荐使用Hive beeline客户端，可以更好地实现安全控制，下面讲讲beeline的使用。 在hive1.1.0中使用Hive CLI会提示WARNING: Hive CLI is deprecated and migration to Beeline is recommended. 无kerberos的hive beeline !connect jdbc:hive2://centos:10000 username password 对于没有开启.
Hadoop大数据开发实战-教学大纲.pdf
12-23
二、 课程的任务 通过本课程的学习，使学生学会搭建Hadoop完全分布式集群，掌握HDFS的原理和基础操作，掌握MapReduce原理架构、MapReduce程序的编写。为将来从事大数据挖掘研究工作以及后续课程的学习奠定基础。
软件测试方向杂谈
03-23
软件测试方向杂谈软件测试说起来学习计算机已经有六七年了，而进入软件测试这个行业也是有两年多了。记得最开始投入到测试的目的是因为容易进大公司。我身边的同学们都很鄙视测试行业，认为没有什么技术含量，而我却...
创意方法杂谈
03-03
不但没有好的想法与创意，而且软件也不懂得怎么去操作，再后来接触多了、看多了、被蹂躏得多了、想法也慢慢的多了；却又发现，在天马行空的想法面前，却根本不知道怎么去实现，从一个痛苦的坑里跳回了另一个坑中。...
数仓 用户认证 Kerberos Hive用户认证配置
weixin_45417821的博客
02-01 2437
文章目录前置要求Hadoop集群启动Kerberos认证创建Hive系统用户和Kerberos主体启动hiveserver2Hive Kerberos认证使用说明beeline客户端DataGrip客户端新建Driver新建连接 前置要求 Hadoop集群启动Kerberos认证 按照上述步骤为Hadoop集群开启Kerberos安全认证。 创建Hive系统用户和Kerberos主体 1，创建系统用户 [root@hadoop102 ~]# useradd hive -g hadoop [root@hado
Hive配置项的含义详解
aaa1117a8w5s6d的专栏
11-22 1万+
关于MetaStore：metastore是个独立的关系数据库，用来持久化schema和系统元数据。 hive.metastore.local：控制hive是否连接一个远程metastore服务器还是开启一个本地客户端jvm，默认是true，Hive0.10已经取消了该配置项； javax.jdo.option.ConnectionURL：JDBC连接字符串，默认jdbc:derby:;dat
hive权限管理
热门推荐
zqqnancy的专栏
07-08 3万+
环境： HDP2.4 ,hive-1.2.0, ambari统一管理 目前hive支持简单的权限管理，默认情况下是不开启，这样所有的用户都具有相同的权限，同时也是超级管理员，也就对hive中的所有表都有查看和改动的权利，这样是不符合一般数据仓库的安全原则的。下面来介绍HIVE的权限管理。 Hive用户 1. Hive作为表存储层。     使用对象：Hive's HCatalog
JDBC 连接Hive 简单样例（开启Kerberos）
Stay Focused And Work Hard !!!
08-16 2万+
运用 Ambari 搭建的HDP 集群，由于开启了kerberos ，对外提供Hive数据时统一用JDBC 的方式，所以写了下面这么一个简单样例供第三方数据接入参考。 代码如下所示：package com.bmsoft.hive.impl;import org.apache.hadoop.security.UserGroupInformation; import java.io.IOExceptio
Hive Server 2 调研，安装和部署
yukangkk的技术博客
09-17 2万+
我们使用Hive Server 1已经很长时间了，有用户ad-hoc query，hive-web, wormhole，运营工具等都是通过hive server来提交语句。但是hive server极其不稳定，经常会莫名奇妙假死，导致client端所有的connection都被block住了。对此我们不得不配置一个crontab检查脚本，会不断执行"show tables"语句来检测server是否假死，如果假死，只能杀死daemon进程重启。另外Hive Server 1的concurrency支持不好，
HiveAccessControlException Permission denied: Principal [name=hive, type=USE]does not have following
fairynini的博客
05-14 1万+
问题： Caused by: org.apache.hadoop.hive.ql.security.authorization.plugin.HiveAccessControlException: Permission denied: Principal [name=hive, type=USER] does not have following privileges for operation QUERY [[SELECT] on Object [type=TABLE_OR_VIEW, name=sy_d
RBAC数据库设计
weixin_45290168的博客
09-20 1829
1.概念： 基于角色的权限访问控制(Role-Based Access Control)作为传统访问控制(自主访问，强 制访问)的有前景的代替受到广泛的关注。在RBAC中，权限与角色相关联，用户通过成 为适当角色的成员而得到这些角色的权限。这就极大地简化了权限的管理rbac: 一种数 据库设计思想,根据设计数据库设计方案,完成项目的权限控制. 权限:具备操作某个事务的能力 角色:一系列权限的集合 2.权限的使用情景 不同用户登录后看到的菜单是不一样的. 不同用户看到的页面效果不一样 有的用户可以看见”授权”
Hive数据库连接-连接池实现
u010077555的博客
11-15 9294
Hive数据库连接-连接池实现 通过HiveJDBC获取Hive的连接Connection，下面我们简单介绍HiveJDBC数据库连接实现 HiveJDBC配置文件 连接池配置文件hive-jdbc.properties # 初始化连接池数 db.jdbcPoolInitSize=5 # HIVE的Driver，不需要修改 db.driver=org.apache.hive.jdbc....
高并发架构实践：负载均衡与大数据技术探索
"高并发架构一些技术套路杂谈" 在当今互联网行业中，高并发架构是应对大规模用户访问和处理海量数据的关键。本资源探讨了高并发架构设计中的多种技术和策略，旨在帮助企业解决高并发场景下的痛点。 高并发架构设计...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值