疯狂Hive之Hivean安装部署与交互方式（一）

为什么使用Hive

当直接使用Hadoop MapReduce处理数据所面临的问题

人员学习成本高

MapReduce实现复杂查询逻辑开发难度大

使用Hive

操作接口采用类SQL语法，提供快速开发的能力

避免了去写MapReduce，减少开发人员的学习成本

功能扩展很方便

Hive组件

用户接口：包括CLI、JDBC/ODBC、WebCUI。其中，CLI(command line interface)为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebCUI是通过浏览器访问Hive

元数据存储：通常是存储在关系型数据库如mysql/derby中。Hive将元数据存储在数据库中。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），标的数据所在目录等

解释器、编译器、优化器、执行器：完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中，并在随后由MapReduce调用执行

Hive与Hadoop的关系：Hive利用HDFS存储数据，利用MapReduce查询分析数据

Hive与传统数据库对比

Hive用于海量数据的离线数据分析

Hive具有SQL数据库的外表，但是应用场景完全不同，Hive只适合用来做批量数据统计分析

更直观的对比请看下面这张图

Hive安装部署

Hive安装前需要安装好JDK和Hadoop。配置好环境变量

根据元数据存储的介质不同，分为下面两个版本，其中derby属于内嵌模式。实际生产环境中则使用mysql来进行元数据的存储

内置derby版

解压Hive安装包

bin/hive启动即可使用

缺点：不同路径启动Hive，每一个Hive拥有一套自己的元数据，无法共享

详细步骤：

1、上传Hive安装包

解压安装包

解压命令：tar -zxvf apache-hive-1.2.1-bin.tar.gz

进入解压包并启动derby版hive

进入启动命令所在目录：cd apache-hive-1.2.1-bin/bin/

启动derby版Hive命令：./hive

Hive的使用

显示已存在的数据库名称

命令：show databases;

创建数据库

命令：create database gw;

在gw数据库中创建一张表t_user

使用数据库命令：use gw;

创建表命令：create table t_user(id int,username string,password string);

显示数据库中的表

命令：show tables;

注意：derby版元数据与启动路径有关系，如果启动的路径不同，那么就会创建新的元数据（元数据不共享），一般用于测试版使用

Mysql版

解压、修改配置文件

vi conf/hive-site.xml

配置Mysql元数据库信息

详细步骤：

1、上传Hive安装包

2、解压安装包

解压命令：tar -zxvf apache-hive-1.2.1-bin.tar.gz

yum在线安装mysql数据库

安装命令：yum install mysql mysql-server mysql-devel

安装完成后启动mysql命令：/etc/init.d/mysqld start

进入mysql交互界面命令：mysql

设置mysql用户名与密码

use mysql;

update user set password=password(‘root’) where user=‘root’;

flush privileges;

设置mysql允许远程访问

grant all privileges on *.* to ‘root’@‘%’ identified by ‘root’ with grant option;

flush privileges;

退出mysql命令：exit

查看mysql服务是否启动命令：service mysqld status

设置mysql服务开机启动命令：chkconfig mysqld on

修改Hive配置文件

进入配置文件所在目录：cd apache-hive-1.2.1-bin/conf/

配置hive-env.sh文件

拷贝hive-env.sh文件命令：cp hive-env.sh.template hive-env.sh

编辑文件：vi hive-env.sh

在hive-env.sh中需要配置hadoop的安装路径

配置hive-site.xml文件

因为文件不存在，所以创建一个hive-site.xml文件

还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！

王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。

对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！

【完整版领取方式在文末！！】

93道网络安全面试题

内容实在太多，不一一截图了

黑客学习资源推荐

最后给大家分享一份全套的网络安全学习资料，给那些想学习 网络安全的小伙伴们一点帮助！

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

😝朋友们如果有需要的话，可以联系领取~

1️⃣零基础入门

① 学习路线

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

② 路线对应学习视频

同时每个成长路线对应的板块都有配套的视频提供：

2️⃣视频配套工具&国内外网安书籍、文档

① 工具

② 视频

③ 书籍

资源较为敏感，未展示全面，需要的最下面获取

② 简历模板

![在这里插入图片描述](https://img-blog.csdnimg.cn/5
作者徽是vip1024c
04b8be96bfa4dfb8befc2af49aabfa2.png#pic_center)

因篇幅有限，资料较为敏感仅展示部分资料，添加上方即可获取👆