大数据之hive_hive的基础介绍,及安装

hive的基础介绍

什么时hive:hive是由Facebook开源用于解决海量结构化日志的数据统计(海量的结构化数据的运算分析)
hive是基于Hadoop的一个数据仓库工具(服务型软件),可以将结构化的数据文件映射为一张表,并提供类似于sql查询.HQL
本质是:将hive sql转换成mapreduce程序或spark程序
hive处理的数据储存在hdfs中
hvie分析数据底层实现的是mapreduce或spark(分布式运行框架)
hive执行的程序是在yarn上的

Hive的优缺点
优点
1)操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。
2)避免了去写MapReduce，减少开发人员的学习成本。
3)Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。(历史数据)
4)Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。
5)Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。
缺点
1．Hive的HQL表达能力有限
（1）迭代式算法无法表达 递归算法
（2）数据挖掘方面不擅长(数据挖掘和算法 机器学习 硕士以上)
2．Hive的效率比较低
（1）Hive自动生成的MapReduce作业，通常情况下不够智能化
（2）Hive调优比较困难，粒度较粗(快)

Hive架构原理

(mysql记录元数据: hive表的数据映射 , 表结构 )

1．用户接口：Client
CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）
2．元数据：Metastore
元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；
默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore
3．Hadoop
使用HDFS进行存储，yarn资源调度 ,使用MapReduce进行计算。
4．驱动器：Driver
（1）解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。
（2）编译器（Physical Plan）：将AST编译生成逻辑执行计划。
（3）优化器（Query Optimizer）：对逻辑执行计划进行优化。
（4）执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是MR/Spark。

Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口。

Hive的安装

0 正常启动HDFS和YARN
1.安装mysql
2 查看mysql是否运行
netstat -nltp | grep 3306
tcp 0 0 0.0.0.0:3306
3 systemctl start mysqld 启动mysql服务
4 可以配置mysql的开机自启服务 systemctl enable mysqld
就用以前安装的，但是要注意，开启远程连接权限

1. [root@doit01 ~]# service mysqld start
   Starting mysqld: [ OK ]
   set password for ‘root’@‘m01’= password(‘root’);

mysql -uroot -proot
mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=1; 这个两个设置以后 密码很简单不会报错
开启远程连接权限

mysql > grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;

mysql > flush privileges;

2. 授权完成后，测试一下是否成功：在windows上用Navicat连接一下看是否能成功！

mysql启动正常 开启远程连接

2.上传hive的安装包,解压
tar -zxf apache-hive-3.1.2-bin.tar.gz

1. mv hive-env.sh.template hive-env.sh 改配置文件名
   vi hive-env.sh
   export HADOOP_HOME=/opt/apps/hadoop-3.1.1/
   Hive Configuration Directory can be controlled by:
   export HIVE_CONF_DIR=/opt/apps/hive-3.1.2/conf/

4.修改配置文件
vi hive-site.xml
-----------------***********

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://linux03:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>

<property>
<name>hive.server2.support.dynamic.service.discovery</name>
<value>false</value>
</property>

<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>

<property>
<name>hive.exec.scratchdir</name>
<value>/user/hive/tmp</value>
</property>

<property>
<name>hive.querylog.location</name>
<value>/user/hive/log</value>
</property>

<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>

<property>
<name>hive.server2.thrift.bind.host</name>
<value>0.0.0.0</value>
</property>

<property>
<name>hive.server2.webui.host</name>
<value>0.0.0.0</value>
</property>

<property>
<name>hive.server2.webui.port</name>
<value>10002</value>
</property>

<property>
<name>hive.server2.long.polling.timeout</name>
<value>5000</value>
</property>

<property>
<name>hive.server2.enable.doAs</name>
<value>true</value>
</property>

<property>
<name>datanucleus.autoCreateSchema </name>
<value>false</value>
</property>

<property>
<name>datanucleus.autoCreateTables</name>
<value>true</value>
</property>

<property>
<name>datanucleus.fixedDatastore </name>
<value>true</value>
</property>

<property>
<name>hive.execution.engine</name>
<value>mr</value>
</property>


<property>
<name>hive.metastore.uris</name>
<value>thrift://linux03:9083</value>
</property>

<!--配置hiveserver2用户名密码 -->
<property>
<name>hive.server2.thrift.client.user</name>
<value>root</value>
</property>

<property>
<name>hive.server2.thrift.client.password</name>
<value>root</value>
</property>


<!--
<property>
<name>hive.zookeeper.quorum</name>
<value>linux01,linux02,linux03</value>
</property>
-->
</configuration>

-----------------***********
5. vi /opt/apps/hadoop-3.1.1/etc/hadoop/core-site.xml

<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>

<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>

<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>

vi /opt/apps/hadoop-3.1.1/etc/hadoop/mapred-site.xml

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/apps/hadoop-3.1.1</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/apps/hadoop-3.1.1</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/apps/hadoop-3.1.1</value>
</property>

6.拷贝一个mysql的jdbc驱动jar包到hive的lib目录中

7 重启hdp
stop-all.sh
start-all.sh

8.解决jar包冲突问题
hadoop-3.1.1/ 和 /hive-3.1.2/ 版本兼容

但如果安装的是hadoop-3.2.1/ 和 /hive-3.1.2/ 两个版本存在jar包冲突问题
需要将 /opt/apps/hadoop-3.2.1/share/hadoop/common/lib/guava-27.0-jre.jar
复制到 /opt/apps/hive-3.1.2/lib 下,
并删除hive-3.1.2/lib/文件夹下的原guava文件

9.初始化hive的元数据库
${HIVE_HOME}/bin/schematool -initSchema -dbType mysql

1. 在mysql中多一个hive数据库 记录元数据信息
2. 启动以后在HDFS中的目录中 /user/hive目录

10.配置hive的环境变量,
启动hive都必须先输入:hive --service metastore & 启动元数据服务
启动hive
bin/hive
show databsaes ;
create database doit13 ;
create table a (id int , name string) ;
show tables ;

11 第二中连接方式 (hiveserver2远程连接服务 : beeline JDBC连接)

输入:hiveserver2 &

clone session 克隆当前设备

1. hiveserver2 启动后等待一到两分钟查看 10000 端口是否开启:
   —> netstat -nltp | grep 10000 10002
2. 有10000端口时输入: beeline
   再输入 > !connect jdbc:hive2://doit01:10000
   当前用户名: root
   不用输入密码直接回车
   0: jdbc:hive2://doit01:10000> 连接成功