问题简要:我在数仓建模完成后,有一天再次打开我的dbeaver数据全没了,我找了很多解决方法都不能解决我的问题,一气之下,我就把hive和所有的表删除了,重头来过
一.hive数据仓库环境搭建
Hive 安装部署
1. 安装 Hive
-
把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的/opt/softwares 目录下
-
解压apache-hive-3.1.2-bin.tar.gz 到/opt/modules/目录下面
-
修改 apache-hive-3.1.2-bin.tar.gz的名称为 hive
-
修改/etc/profile,添加环境变量
-
添加内容
#HIVE_HOME export HIVE_HOME=/opt/module/hive export PATH=$PATH:$HIVE_HOME/bin
环境变量生效:注意配置
[xikuang@hadoop102 modules]# source /etc/profile
-
解决日志 Jar 包冲突
-
初始化元数据库
2.Hive 元数据配置到 **MySQL **
-
拷贝驱动
将 MySQL 的 JDBC 驱动拷贝到 Hive 的 lib 目录下
[root@centos1 software]$ cp /opt/softwares/mysql-connector-java-5.1.37-bin.jar /opt/modules/hive/lib/
-
配置 Metastore 到 MySQL
在$HIVE_HOME/conf 目录下新建 hive-site.xml 文件
添加如下内容:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- jdbc 连接的 URL -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
</property>
<!-- jdbc 连接的 Driver-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- jdbc 连接的 username-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- jdbc 连接的 password -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>000000</value>
</property>
<!-- Hive 元数据存储版本的验证 -->
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<!--元数据存储授权-->
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
<!-- Hive 默认在 HDFS 的工作目录 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
</configuration>
-
登陆 MySQL
-
新建 Hive 元数据库
-
初始化 Hive 元数据库
3.启动并使用hive
-
启动hive
-
使用hive
hive> show databases;
hive> show tables;
hive> create table test (id int);
hive> insert into test values(1);
hive> select * from test;
-
在 CRT 窗口中开启另一个窗口开启 Hive
hive> show databases; hive> show tables;
二.数仓建模
-
1.下载dbeaver软件,并连接hive
2.创建数据库与数据表
-
在hive创建数据库
ods_didi dw_didi app_didi
-
检查创建数据库的语句
二.1原始数据层ods
-
在dbeaver里创建表
-
1.四个表建好后,将表数据上传到opt/modules/tempdata
2.表数据加载hive各自对应表中![](https://img-blog.csdnimg.cn/493e44ce3a04457696db6e0258d19941.png)
3.最后我们可以在dbeaver里查看一下
我们的数据就有了
但是这还只是原始数据层,我们必须经过仓库层,最后到我们应用层
二.2数据仓库层dw
-
创建数据仓库层中的表:
-
插入数据
二.3应用层app
让表更加清晰展现给我们
这周的分享就这样咯!我们的数据都有了