Dbeaver连接Mysql,Hive和Hbase的配置

 

前言

本文介绍常用一种通用数据库工具Dbeaver，DBeaver 可通过 JDBC 连接到数据库，可以支持几乎所有的数据库产品，包括：MySQL、PostgreSQL、MariaDB、SQLite、Oracle、Db2、SQL Server、Sybase、MS Access、Teradata、Firebird、Derby 等等。商业版本更是可以支持各种 NoSQL 和大数据平台：MongoDB、InfluxDB、Apache Cassandra、Redis、Apache Hive 等。

本文使用软件版本情况：Dbeaver6.3.0+MySQL8.0.11+Hive2.1.1+Hbase2.2.4+hadoop2.7.3+jdk1.8.0_65,Dbeaver6.3.0和MySQL8.0.11安装在window10,Hive2.1.1+Hbase2.2.4+hadoop2.7.3+jdk1.8.0_65安装在虚拟机Centos7上。连接完成后界面如下所示，通过Dbeaver可以很方便在mysql,hive和hbase上进行数据分析和可视化操作。

1.Dbeaver安装

Dbeaver的安装较简单，可通过网页https://jingyan.baidu.com/article/0aa223756a2eed88cd0d644a.html按照教程进行安装。再dbeaver.ini配置文件中加入以下字段，通过本地java路径启动。

2.Dbeaver连接MySQL

Windows 上安装 MySQL 相对来说会较为简单，可参考网页进行安装https://blog.csdn.net/aini_sks/article/details/83275224；安装完成后要对mysql开启远程访问权限。

#修改用户权限
alter user 'luchenghui'@'%' identified with mysql_native_password by '*****';
#%代表所有主机，也可以具体到你的主机ip地址
select user,authentication_string,Host from user;

由于My SQL 8.0.4后开始默认使用新的认证插件"caching_sha2_password"，而DBeaver还在使用原来的"mysql_native_password"插件。需修改my.ini文件，my.ini位置C:\ProgramData\MySQL\MySQL Server 8.0设置默认使用mysql_native_password：

[mysqld]
default_authentication_plugin=mysql_native_password

 要保证远程可以登入mysql,可在另一台虚拟机上面测试

#192.168.1.101为mysql所在机器ip地址
mysql -h 192.168.1.111 -u root -p

如果可以登入，表示远程登入授权成功。

新建数据库连接mysql8

编辑驱动设置

选择下载更新

 

继续测试此刻会发生两种情况：第一种，成功了；第二种，继续失败，且会出现如下信息。

需要在my.ini中设置时区：my.ini位置C:\ProgramData\MySQL\MySQL Server 8.0

 再次点击测试链接可连接成功

 

3.Dbeaver连接Hive

Hive安装：

#解压
[luchenghui@master downloads]$tar -xzvf apache-hive-2.1.1-bin.tar.gz
#移动到安装目录下
[luchenghui@master downloads]mv apache-hive-2.1.1-bin /soft
#建立软链接
[luchenghui@master downlomn]$ln -s apache-hive-2.1.1-bin hive
#修改环境变量,增加hive环境变量
[luchenghui@master downlomn]$sudo vim /etc/profile

#hive环境
export HIVE_HOME=/soft/hive 
export PATH=$PATH:$HIVE_HOME/bin

[luchenghui@master downlomn]$source /etc/profile
#查看是否安装成功
[luchenghui@master downlomn]$hive --version
#有hive的版本显现，安装成功！

hive配置：

#进入配置目录
[luchenghui@master downlomn]$cd /soft/hive/conf
#修改hive-site.xml，没有该文件，复制一个
[luchenghui@master conf]$cp hive-default.xml.template  hive-site.xml
#修改hive-site.xml
[luchenghui@master conf]$sudo vim hive-site.xml

 将hive-site.xml原来里面内容全部删除，把下面内容全部粘贴进去。192.168.1.111为mysql所在ip地址，luchenghui为用户名，5125***为登入MySQL密码。

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://192.168.1.111:3306/hive?useSSL=false</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.cj.jdbc.Driver</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>luchenghui</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>5125****</value>
        </property>

        <property>
                <name>hive.metastore.schema.verification</name>
                <value>false</value>
        </property>
</configuration>

.复制mysql的驱动程序到hive/lib下面，MySQL 8.0 以上版本驱动包版本下载地址https://static.runoob.com/download/mysql-connector-java-8.0.16.jar

[luchenghui@master downlomn]$mv mysql-connector-java-8.0.16.jar /soft/hive/lib
#在mysql中hive的schema
[luchenghui@master bin]$schematool -dbType mysql -initSchema
#进入hive
[luchenghui@master bin]$hive

Dbeaver连接hive:

要想远程连接hive，需开启hive的远程连接服务

[luchenghui@master bin]hive --service server2

新建数据库连接，选择hive

信息进行相关填写后，点编辑驱动设置

 点击添加工件，进行设置

 

点击下载配置，maven,添加阿里云下载配置

 通过以上设置就可以连接上hive.

4.Dbeaver连接Hbase

下载Hbase,下载前需要检查hbase版本支持的jdk和hadoop对应的版本号，Hbase的链接https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.2.4/hbase-2.2.4-bin.tar.gz

#解压
[luchenghui@master downloads]$tar -xzvf hbase-2.2.4-bin.tar.gz
#移动到安装目录下
[luchenghui@master downloads]mv hbase-2.2.4-bin /soft
#建立软链接
[luchenghui@master downlomn]$ln -s hbase-2.2.4-bin hbase
#修改环境变量,增加hbase环境变量
[luchenghui@master downlomn]$sudo vim /etc/profile

#hbase环境
export HBASE_HOME=/soft/hbase
export PATH=$PATH:$HBASE_HOME/bin

[luchenghui@master downlomn]$source /etc/profile
#查看是否安装成功
[luchenghui@master downlomn]$hbase version
#有hbase的版本显现，安装成功！

由于HBase依赖JAVA_HOME环境变量，所以要导入Java环境变量，编辑conf/hbase-env.sh文件，并取消注释以#export JAVA_HOME =开头的行，然后将其设置为Java安装路径。命令：vim conf/hbase-env.sh

export JAVA_HOME=/soft/jdk/

编辑conf/hbase-site.xml，这是主要的HBase配置文件,你需要在本地文件系统上指定HBase和ZooKeeper写入数据的目录并确认一些风险。

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>file:///soft/hbase/hbase</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/soft/hbase/zookeeper</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
    <description>
      Controls whether HBase will check for stream capabilities (hflush/hsync).

      Disable this if you intend to run on LocalFileSystem, denoted by a rootdir
      with the 'file://' scheme, but be mindful of the NOTE below.

      WARNING: Setting this to false blinds you to potential data loss and
      inconsistent system state in the event of process and/or node failures. If
      HBase is complaining of an inability to use hsync or hflush it's most
      likely not a false positive.
    </description>
  </property>
</configuration>

启动HBase

　启动命令：./bin/start-hbase.sh

　关闭命令：./bin/stop-hbase.sh

　使用jps命令查看master是否启动成功

通过wb可访问hbase

Dbeaver连接hbase,需要下载phoenix,下载连接https://mirror.bit.edu.cn/apache/phoenix/apache-phoenix-5.0.0-HBase-2.0/bin/apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz。

解压缩后将phoenix-5.0.0-HBase-2.0-client.jar和phoenix-5.0.0-HBase-2.0-server.jar放到/soft/hbase/lib目录下。

再把 /soft/hbase/conf/hbase-site.xml下载下来，放到phoenix-5.0.0-HBase-2.0-client.jar里面（相当于把hbase-site.xml压缩进phoenix-5.0.0-HBase-2.0-client.jar包里），可以用winRAR来完成。

新建数据库Apache Phoenix

基本信息进行填写，然后点击编辑驱动设置

添加文件，把 phoenix-5.0.0-HBase-2.0-client.jar加入进来，UPL模板加入ZooKeeper Base Path路径。

 完成以上配置Dbeave即可连接上hbase。

后记

以上连接需要耐心一步一步进行，如果出现问题可以留言，也可以百度，百度一般都可以找到答案。