Hive启动hiveServer2+beeline连接Hive+可视化工具dbeaver连接Hive

一、准备

1.1 安装环境

[root@master ~]# cat /etc/redhat-release 
CentOS Linux release 7.3.1611 (Core) 

1.2 依赖服务

mysql5.7:https://blog.csdn.net/qq_39680564/article/details/84943471
hadoop-3.0.3:https://blog.csdn.net/qq_39680564/article/details/89513162
Hbase2.1.0:https://blog.csdn.net/qq_39680564/article/details/89515459
Hive3.1.1:https://blog.csdn.net/qq_39680564/article/details/89714184

二、修改配置文件

修改hadoop 配置文件hdfs-site.xml(如果集群的话每个都要修改)
添加如下内容:

<property>
 <name>dfs.webhdfs.enabled</name>
 <value>true</value>
</property>

修改hadoop 配置文件core-site.xml(如果集群的话每个都要修改)
添加如下内容:

<property>
  <name>hadoop.proxyuser.hadoop.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hadoop.groups</name>
  <value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.root.hosts</name>
	<value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.root.groups</name>
	<value>*</value>
</property>

重启hadoop

三、hiveServer2启动

直接启动

[root@master ~]# hiveserver2

启动成功

2019-05-08 11:46:56: Starting HiveServer2
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive-3.1.1/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-3.0.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Hive Session ID = 3dd5a4c1-3030-4d43-9ec1-53bd1561ebb9

后台启动

 nohup hiveserver2 1>/root/hiveserver.log 2>/root/hiveserver.err &nohup hiveserver2 > hive.log 2>&1 &

四、beeline连接

启用beeline连接

[root@master ~]# beeline
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive-3.1.1/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop-3.0.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Beeline version 3.1.1 by Apache Hive

连接hive库

beeline> !connect jdbc:hive2://master:10000
Connecting to jdbc:hive2://master:10000
Connected to: Apache Hive (version 3.1.1)
Driver: Hive JDBC (version 3.1.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://master:10000> 

master是我的hadoop主机映射名
10000为默认端口

查看hive库中的表

0: jdbc:hive2://master:10000> show tables;
+-----------------+
|    tab_name     |
+-----------------+
| hbase_table_1   |
| hbase_table_2   |
| hbase_table_21  |
| hbase_table_3   |
+-----------------+
4 rows selected (0.124 seconds)

五、dbeaver连接

下载dbeaver:https://download.csdn.net/download/qq_39680564/11166519

5.1 新建hive连接

在这里插入图片描述

5.2 填入连接信息

只需要填写hadoop的主机IP,端口默认10000
在这里插入图片描述

5.3 编辑连接驱动

删掉自带的驱动,添加与hive版本匹配的驱动,该驱动可以在hive的jdbc目录下找到
在这里插入图片描述
在这里插入图片描述

5.4 测试连接

连接成功(beeline可以连接,使用dbeaver不会出现什么异常)
在这里插入图片描述

5.5 查看hive库的表

在这里插入图片描述

六、报错分析

报错一:
User root is not allowed to impersonate anonymous 错误
解决:
https://www.cnblogs.com/rocky-AGE-24/p/6925129.html

### 回答1: 使用SparkSQL可以通过HiveServer2和Beeline查询Hive中的数据。具体步骤如下: 1. 首先需要启动HiveServer2服务,可以通过以下命令启动: ``` $ hive --service hiveserver2 ``` 2. 然后使用Beeline连接HiveServer2,可以通过以下命令连接: ``` $ beeline -u jdbc:hive2://localhost:10000 ``` 其中,localhost为HiveServer2所在的主机名或IP地址,10000为HiveServer2的端口号。 3. 连接成功后,可以使用SparkSQL语句查询Hive中的数据,例如: ``` SELECT * FROM mytable; ``` 其中,mytable为Hive中的表名。 4. 查询完成后,可以使用exit命令退出Beeline。 ``` !exit ``` 以上就是使用SparkSQL查询Hive数据的步骤。 ### 回答2: SparkSQL作为一种分布式计算引擎,与Hive的结合非常紧密,能够支持基于Hive元数据的DDL操作和HiveQL语言的查询。而HiveServer2作为Hive服务的一种实现,提供了支持多客户端并发访问的能力,通过Beeline客户端即可与HiveServer2进行交互。 下面我们主要介绍使用SparkSQL和HiveServer2 + Beeline查询Hive数据的步骤: 1.启动HiveServer2服务 首先需要启动HiveServer2服务,如果已经启动过则可以跳过此步骤。可以通过hive-site.xml配置文件中的hive.server2.enable.doAs参数来开启该服务,如下面的配置: <property> <name>hive.server2.enable.doAs</name> <value>true</value> </property> 2.启动Beeline客户端 接着我们需要启动Beeline客户端,并连接HiveServer2服务。在命令行中输入以下命令: beeline -u jdbc:hive2://localhost:10000/default 其中,localhost表示HiveServer2运行的机器地址,10000表示HiveServer2提供服务的端口号,default表示默认的数据库名称。 3.使用SparkSQL语法查询Hive数据 在Beeline客户端中,使用SparkSQL语法即可查询Hive数据。例如,我们可以使用以下命令查询一张名为student的表中的数据: SELECT * FROM student; 如果需要查询其他的数据库,可以使用USE语句切换到相应的数据库中。例如,使用以下命令切换到名为test的数据库中: USE test; 然后再执行相应的查询语句即可。 总之,通过SparkSQL和HiveServer2 + Beeline的组合使用,可以非常方便地进行Hive数据查询和分析。无需手动编写MapReduce程序,只需使用简单的SQL语句即可查询并分析庞大的Hive数据。同时,SparkSQL还能够与其他Spark生态系统中的组件无缝集成,如Spark Streaming、MLlib等等,提供全面的数据处理和分析能力。 ### 回答3: SparkSQL是Apache Spark生态系统中的一款数据处理工具,提供了结构化数据处理的功能。它可以通过使用Hive元存储实现与Hive的互操作性,与Hive集成使用可以提高开发的性能和执行效率。 SparkSQL通过HiveServer2和Beeline连接Hive中,可以在SparkSQL中使用Hive所有的数据操作指令。在使用之前,需要首先配置正确的连接信息。一般而言,使用以下命令可以实现连接: ```bash ./bin/beeline !connect jdbc:hive2://<host>:<port>/<dbname>;user=<username> ``` 其中,`<host>`为HiveServer2所在的机器IP地址或主机名, `<port>`为HiveServer2的端口号,`<dbname>`为Hive中的数据库名称,`<username>`为Hive用户名称。 连接成功后,可以使用SparkSQL查询语句直接查询Hive中的数据。例如: ```sql SELECT * FROM table_name LIMIT 10; ``` 以上命令会在SparkSQL中查询Hive中名为`table_name`的数据表,并且返回前10行数据。除此之外,还可以使用SparkSQL的一些其他的数据操作指令对Hive数据进行处理,例如: **创建表** ```sql CREATE TABLE my_table (id INT, name STRING, age INT); ``` **插入数据** ```sql INSERT INTO my_table VALUES (1, "Tom", 20); ``` **表联接** ```sql SELECT t1.id, t1.name, t2.age FROM table1 t1 JOIN table2 t2 ON t1.id = t2.id; ``` 总之,使用SparkSQL连接Hive的方式可以大幅提高使用Hive进行数据处理的效率,它基于内存的高速数据处理引擎,可以在大规模的数据处理任务中表现出色。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值