beeline连接HIVE默认登入使用anonymous用户权限不够

在用beeline连接hive查询表数据时,出现错误权限不够

ERROR : Job Submission failed with exception 'org.apache.hadoop.security.AccessControlException
(Permission denied: user=anonymous, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
	at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)
	at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:260)
	at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:240)
	at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:162)

可以看出默认登入使用的是anonymous用户,而对应的表在hdfs上的目录为:

drwxr-xr-x   - hdfs  supergroup

总的来说,出除了hdfs用户,其他用户对文件读写可能都会有问题,就算使用root用户上传文件,也会报权限不够。通常的办法是改目录权限:

hdfs dfs  chmod 777 ***

但是不可能每次在hive shell中创建表生成目录,都要手动改目录权限。所以,最直接的办法是改变beeline登入的用户为hdfs,好在beeline提供了 -n 用户名参数 ,可以执行:

beeline -n hdfs -u jdbc:hive2://localhost:10000

于是beeline就以hdfs用户登入,读写数据权限问题会少很多。但需要注意一点,beeline命令如果写成两行:

beeline -n hdfs
!connect jdbc:hive2://localhost:10000

这样分两步执行,-n 参数是不生效的。
另外建议:凡是涉及hdfs的操作都用hdfs用户来进行

原文连接:https://blog.csdn.net/Ntozot/article/details/83031124

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 使用SparkSQL可以通过HiveServer2和Beeline查询Hive中的数据。具体步骤如下: 1. 首先需要启动HiveServer2服务,可以通过以下命令启动: ``` $ hive --service hiveserver2 ``` 2. 然后使用Beeline连接HiveServer2,可以通过以下命令连接: ``` $ beeline -u jdbc:hive2://localhost:10000 ``` 其中,localhost为HiveServer2所在的主机名或IP地址,10000为HiveServer2的端口号。 3. 连接成功后,可以使用SparkSQL语句查询Hive中的数据,例如: ``` SELECT * FROM mytable; ``` 其中,mytable为Hive中的表名。 4. 查询完成后,可以使用exit命令退出Beeline。 ``` !exit ``` 以上就是使用SparkSQL查询Hive数据的步骤。 ### 回答2: SparkSQL作为一种分布式计算引擎,与Hive的结合非常紧密,能够支持基于Hive元数据的DDL操作和HiveQL语言的查询。而HiveServer2作为Hive服务的一种实现,提供了支持多客户端并发访问的能力,通过Beeline客户端即可与HiveServer2进行交互。 下面我们主要介绍使用SparkSQLHiveServer2 + Beeline查询Hive数据的步骤: 1.启动HiveServer2服务 首先需要启动HiveServer2服务,如果已经启动过则可以跳过此步骤。可以通过hive-site.xml配置文件中的hive.server2.enable.doAs参数来开启该服务,如下面的配置: <property> <name>hive.server2.enable.doAs</name> <value>true</value> </property> 2.启动Beeline客户端 接着我们需要启动Beeline客户端,并连接HiveServer2服务。在命令行中输入以下命令: beeline -u jdbc:hive2://localhost:10000/default 其中,localhost表示HiveServer2运行的机器地址,10000表示HiveServer2提供服务的端口号,default表示默认的数据库名称。 3.使用SparkSQL语法查询Hive数据 在Beeline客户端中,使用SparkSQL语法即可查询Hive数据。例如,我们可以使用以下命令查询一张名为student的表中的数据: SELECT * FROM student; 如果需要查询其他的数据库,可以使用USE语句切换到相应的数据库中。例如,使用以下命令切换到名为test的数据库中: USE test; 然后再执行相应的查询语句即可。 总之,通过SparkSQLHiveServer2 + Beeline的组合使用,可以非常方便地进行Hive数据查询和分析。无需手动编写MapReduce程序,只需使用简单的SQL语句即可查询并分析庞大的Hive数据。同时,SparkSQL还能够与其他Spark生态系统中的组件无缝集成,如Spark Streaming、MLlib等等,提供全面的数据处理和分析能力。 ### 回答3: SparkSQL是Apache Spark生态系统中的一款数据处理工具,提供了结构化数据处理的功能。它可以通过使用Hive元存储实现与Hive的互操作性,与Hive集成使用可以提高开发的性能和执行效率。 SparkSQL通过HiveServer2和Beeline连接Hive中,可以在SparkSQL使用Hive所有的数据操作指令。在使用之前,需要首先配置正确的连接信息。一般而言,使用以下命令可以实现连接: ```bash ./bin/beeline !connect jdbc:hive2://<host>:<port>/<dbname>;user=<username> ``` 其中,`<host>`为HiveServer2所在的机器IP地址或主机名, `<port>`为HiveServer2的端口号,`<dbname>`为Hive中的数据库名称,`<username>`为Hive用户名称。 连接成功后,可以使用SparkSQL查询语句直接查询Hive中的数据。例如: ```sql SELECT * FROM table_name LIMIT 10; ``` 以上命令会在SparkSQL中查询Hive中名为`table_name`的数据表,并且返回前10行数据。除此之外,还可以使用SparkSQL的一些其他的数据操作指令对Hive数据进行处理,例如: **创建表** ```sql CREATE TABLE my_table (id INT, name STRING, age INT); ``` **插入数据** ```sql INSERT INTO my_table VALUES (1, "Tom", 20); ``` **表联接** ```sql SELECT t1.id, t1.name, t2.age FROM table1 t1 JOIN table2 t2 ON t1.id = t2.id; ``` 总之,使用SparkSQL连接Hive的方式可以大幅提高使用Hive进行数据处理的效率,它基于内存的高速数据处理引擎,可以在大规模的数据处理任务中表现出色。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值