数据仓库技术及应用（Hive 环境配置）

Hive 环境配置

数据仓库概念：一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。

Hive设计特点：

• Hive不支持对数据的改写和添加，所有的数据都是在加载的时候确定的。
• 支持索引，加快数据查询。
• 不同的存储类型，例如：文本文件、序列化文件。
• 将元数据保存在关系数据库中，减少了在查询中执行语义检查时间。
• 可以直接使用存储在Hadoop文件系统中的数据。
• 类SQL的查询方式，将SQL查询转换为MapReduce的job在Hadoo集群上执行。
• 编码跟Hadoop同样使用UTF-8字符集。

1.Win10环境安装docker及使用docker搭建hadoop、hive环境

1.1 Docker Desktop简介

Docker Desktop 是适用于 Windows 的 Docker 桌面，是 Docker 设计用于在 Windows 10 上运行。它是一 个本地 Windows 应用程序，为构建、交付和运行 dockerized 应用程序提供易于使用的开发环境。Docker Desktop for Windows 使用 Windows 原生 Hyper-V 虚拟化和网络，是在 Windows 上开发 Docker 应用程序的最快、最可靠的方式。 Windows 版 Docker 桌面支持运行 Linux 和 Windows Docker 容器。

下载地址： https://desktop.docker.com/win/stable/amd64/Docker%20Desktop%20Installer.e

xe

1.2 win10环境安装docker

1.2.1启用Hyper-V

    1.打开“控制面板”，选择“程序”。

    2.选择“打开或关闭Windows 功能”。

    3.选择“Hyper-V”,然后单击“确定”。

1.2.2 安装Docker Desktop

    双击下载成功的Docker Desktop Installer.exe应用，

安装成功后关机重启！

查看 docker 是否安装成功 , windows 版默认已经安装 docker-compose，打开Windows 操作系统中内置的命令行工具，利用命令docker version,docker-compose --version查看版本。

1.2.3 验证Docker桌面版

安装之后，打开Poewe Shell并运行以下命令检测是否运行成功：

docker run hell-world

1.3 使用docker快速构建hive测试环境

1.3.1 拉取git文件

git clone https://github.com/big-data-europe/docker-hive

1.3.2 构建服务 

cd docker-hive
docker-compose up -d

1.3.3 安装完毕查看端口

# 宿主机：容器端口的映射 如果冲入 自己该compose文件中左侧的端口号
docker ps

进入docker容器并以客户端和jdbc方式进入hive:

docker-compose exec hive-server bash

本地访问hdfs:http://localhost:50070

1.3.4 本地客户端DBeaver访问hive

1）访问：https://dbeaver.io/download/点击下载并安装

2)打开DBeaver,点击左上角连接图标，选择Apache Hive

3)编辑驱动设置，下载jdbc驱动

4)填写相关参数，测试连接

5)打开SQL编辑器，编写Hql语句，执行

create database bigdata;
CREATE TABLE IF NOT EXISTS test (id INT,name STRING) ROW FORMAT DELIMITED FIELDS
TERMINATED BY " " LINES TERMINATED BY "\n";
INSERT INTO test VALUES(1,'zhangsan');

2.虚拟机直接下载安装镜像

2.1遇到的问题

2.1.1虚拟机无法打开提示权限不足

当出现虚拟机权限不足，无法访问文件的时候，先退出程序，然后右键点击虚拟机，选择以管理员身份运行：

之后重新打开虚拟机，找到创建好的虚拟机，点击开启此虚拟机，如图所示：

最后就能够发现虚拟机能够正常打开了。

2.1.2下载虚拟机时无法安装服务“VMware Authorization Service” ，请确保您有足够的权限安装系统

虚拟机安装失败，直接回滚并提示没有权限安装（原因：删除了一个文件找不到而无法启动虚拟机，然后想重装VMware。前提：已经安装过但是删除了，现在是准备重新安装。）一直卡在安装虚拟机网络驱动程序步骤。

 解决方法：

1.解决相关文件是否删除干净

检查之前的VMware是否删除干净，到自己的安装目录进行查看所有关于VMware的文件，然后确保删除正确，完全删除后再进行后续安装。

2.注册表清理

首先win+R输入regedit进入注册表编辑器，找到 \HKEY_CURRENT_USER，再找到Software，里面有一个VMware,Inc. 的文件删除就OK啦！（请提前备份好，以防万一！！！）

3. 卸载C盘里"C:\Program Files (x86)\Common Files\VMware"关于VMware的文件。

4.若注册表编辑器中未发现 \HKEY_CURRENT_USER\Software\VMware,Inc. 的文件,可以下载CCleaner软件 https://www.ccleaner.com/zh-cn/ccleaner/download 

CCleaner是一款优秀的计算机文件清理器，其主打功能是“清理”，用于清理电脑内从未使用或不再使用的文件或软件和上网的浏览记录，同时可以避免误删文件。

打开CCleaner软件，点击左侧注册表（G）：

点击“扫描问题”，然后点击“查看选定问题”，清理注册表中所有未关联项目：

 删除完成之后便可去控制面板中卸载VMware了，然后再重装虚拟机。（注意备份文件！！！若是第一次使用CCleaner软件将会把之前没有删干净和电脑内从未使用或不再使用的文件或软件和上网的浏览记录一起删除。）

2.2问题解决完后便可按照步骤提示完成虚拟机的安装

2.2.1安装完成虚拟机后，配置镜像打开验证

1.左上角点击“文件”-“打开”：

2.选择对应镜像打开即可：

 3.然后“开启此虚拟机”：

4.验证：

猜不透的永远是人心，看不懂的永远是感情！！！