大数据Hive的简介和安装_03_01

最新推荐文章于 2024-03-27 22:29:05 发布
最新推荐文章于 2024-03-27 22:29:05 发布
阅读量521 收藏 1
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangshaojun1992/article/details/77771875
版权

Hive是hadoop生态系统中必不可少的工具，它提供了一种SQL（结构化查询语言）方言，可以查询存储在hadoop分布式文件系统中（HDFS）的数据或其他和hadoop集成的文件系统，如：MapR—Fs、Amazon的S3和像HBase（hadoop数据库）和Cassandra这样的数据库中的数据。

Hive简介

•Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

•本质是将SQL转换为MapReduce程序，然后在Yarn上执行。

•Hive的表其实就是HDFS的目录/文件夹。Hive表里的数据相当于文件夹的文件。

 为什么要使用Hive???

 

•操作接口采用类SQL语法，提供快速开发的能力

•避免了去写MapReduce，减少开发人员的学习成本

•扩展功能很方便

 

Hive与Hadoop的关系

Hive与传统数据库对比

 

 

Hive

RDBMS

查询语言

HQL

SQL

数据存储

HDFS

Raw Device or Local FS

执行

MapReduce

Excutor

执行延迟

高

低

处理数据规模

大

小

索引

0.8版本后加入位图索引

有复杂的索引


Hive的系统架构

 

•用户接口，包括 CLI（Shell命令行接口：常用），JDBC/ODBC（跨语言），WebUI（通过浏览器访问 Hive）。

•Thrift服务：thrift是facebook开发的一个软件框架，它用来进行可扩展且跨语言的服务的开发，hive集成了该服务，能让不同的编程语言调用hive的接口。

•Hive 将元数据存储在数据库中(metastore)，目前只支持 mysql、derby。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

•解释器、编译器、优化器、执行器。它的作用是将我们写的HiveQL（类SQL）语句进行解析、编译优化，生成执行计划，然后调用底层的mapreduce计算框架。

注意：Hive 的数据存储在 HDFS 中，大部分的查询由 MapReduce 完成（包含 * 的查询，比如 select * from table 不会生成 MapRedcue 任务）

 

•Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算。

Hive和mysql的安装

Mysql的安装方式

1、yum的安装

2、rpm的方式安装

3、解压缩包的方式安装

4、源码编译的方式安装

这里我们采用rpm的方式安装：安装在weekend08节点上。

MySQL-client-5.1.73-1.glibc23.x86_64.rpm

MySQL-server-5.1.73-1.glibc23.x86_64.rpm

step1、安装server

执行命令:  rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm

出现冲突的报错！！！

解决方法

首先查询出mysql安装包  rpm -qa | grep mysql

删除冲突的安装包

rpm -e mysql-libs-5.1.71-1.el6.x86_64 --nodeps

再次执行安装的命令：  rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm

step2、安装 Clinet

执行命令：  rpm -ivh  MySQL-client-5.1.73-1.glibc23.x86_64.rpm

step3、初始化root的密码

执行命令：  /usr/bin/mysql_secure_installation    这里的密码为hadoop

step4、设置开机启动

chkconfig mysql on 

step5、登录mysql

执行命令： mysql -uroot -phadoop

step6、设置登录权限

mysql> use mysql;

 

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'hadoop' WITH GRANT OPTION;

 

删除多余会对权限造成影响的数据：mysql> delete from user where host !='%';

这个时候再去执行mysql命令无法进行登录mysql

 

step7、刷新权限

执行命令： mysql> flush privileges;

step8、登录mysql

执行命令： mysql -uroot -phadoop 

安装Hive

首先把之前搭建的集群启动起来。保证ActiveNodes 的三个节点是存活。

 

Hive三种方式区别和搭建

本地模式

在weekend08节点上安装hive

1、解压apache-hive-1.2.1-bin.tar到 /usr/local目录下

2、配置Hive的环境变量

执行命令 vi /etc/profile

    export JAVA_HOME=/usr/local/jdk1.8.0
    export HADOOP_HOME=/usr/local/hadoop-2.6.5
    export HIVE_HOME=/usr/local/hive
    PATH=.:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH

执行命令使其生效 source /etc/profile

3、切换到conf目录下重命名hive-default.xml.template为 hive-site.xml

4、进入hive的客户端

    --启动hdfs集群

   -- 切换到bin目录下执行 hive命令。

错误信息：原因就是hive下面的这个jline-2.12.jar 版本和yarn的版本不一致导致的。

解决方法：切换到hadoop的那个jar包目录 /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

               删除此目录下的jline-0.9.94.jar 然后将hive的那个高版本的jline-2.12.jar 复制到yarn目录下。

               scp -r /usr/local/hive/lib/jline-2.12.jar /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

5、再次切换到bin目录下执行 hive命令。

注意：使用默认的derby数据库存元数据信息的情况。

 

Hive将元数据信息存储在执行hive命令时的那个文件夹下；

也就是说当你在hive的目录下执行 bin/hive命令那么就是在hive的目录下创建一个netastore_db文件夹来存储元数据信息；当你在bin的目录下执行 hive命令那么就是在bin的目录下创建一个netastore_db文件夹来存储元数据信息；

Hive默认使用的数据库为derby；derby的缺点只是适合单链接，不适合多连接；为了适合多连接需要不停过的切换执行hive命令的目录；一旦不停的切换目录执行hive脚本，就不能共享的使用这些表中的数据。

实际开发中我们使用mysql来存储元数据信息。

单用户模式

在weekend09节点上安装hive

1、解压apache-hive-1.2.1-bin.tar到 /usr/local目录下

2、配置Hive的环境变量

执行命令 vi /etc/profile

    export JAVA_HOME=/usr/local/jdk1.8.0
    export HADOOP_HOME=/usr/local/hadoop-2.6.5
    export HIVE_HOME=/usr/local/hive
    PATH=.:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH

执行命令使其生效 source /etc/profile

3、切换到conf目录下重命名hive-default.xml.template为 hive-site.xml

     并添加如下内容

<?xml version="1.0"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

 <configuration>  

<property>  

  <name>hive.metastore.warehouse.dir</name>  

  <value>/user/hive_remote/warehouse</value>   //hdfs的一个目录  也就是hive查从hdfs查询数据的文件目录

</property>  

  <property>  

  <name>hive.metastore.local</name>  //

  <value>true</value>  

</property>  

  <property>  

  <name>javax.jdo.option.ConnectionURL</name>  

  <value>jdbc:mysql://weekend08/hive_remote?createDatabaseIfNotExist=true</value>  //mysql在weekend08节点上

</property>  

   <property>  

  <name>javax.jdo.option.ConnectionDriverName</name>  

  <value>com.mysql.jdbc.Driver</value>  

</property>  

   <property>  

  <name>javax.jdo.option.ConnectionUserName</name>  

  <value>root</value>    #mysql的用户名和密码

</property>  

  <property>  

  <name>javax.jdo.option.ConnectionPassword</name>  

  <value>hadoop</value>  

</property>  

</configuration>  

4、进入hive的客户端

    --启动hdfs集群

   --将mysql的jar包（mysql-connector-java-5.1.32-bin.jar）拷贝到$HIVE_HOME/lib目录下

   -- 切换到bin目录下执行 hive命令。

报错信息

 

解决方法：切换到hadoop的那个jar包目录 /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

               删除此目录下的jline-0.9.94.jar 然后将hive的那个高版本的jline-2.12.jar 复制到yarn目录下。

               scp -r /usr/local/hive/lib/jline-2.12.jar /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

5、再次切换到bin目录下执行 hive命令。

 create table  tbl（iid int ,age int）;

 insert into tbl values （1,2）；

 select * from tbl;

查看HDFS以及Yarn的图形化界面

多用户模式

1.Remote一体

这种存储方式需要在远端服务器运行一个mysql服务器，并且需要在Hive服务器启动meta服务。

这里用mysql的测试服务器，ip位192.168.222.108建hive_remote数据库，字符集位latine1

<?xml version="1.0"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

<configuration>  

  <property>  

  <name>hive.metastore.warehouse.dir</name>  

  <value>/user/hive/warehouse</value>  //hdfs的一个目录  也就是hive查从hdfs查询数据的文件目录

</property>  

  <property>  

  <name>javax.jdo.option.ConnectionURL</name>  

  <value>jdbc:mysql://192.168.222.108:3306/hive?createDatabaseIfNotExist=true</value>  //mysql在weekend08节点上

</property>  

  <property>  

  <name>javax.jdo.option.ConnectionDriverName</name>  

  <value>com.mysql.jdbc.Driver</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionUserName</name>  

  <value>root</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionPassword</name>  

  <value>hadoop</value>  

</property>  

<property>  

  <name>hive.metastore.local</name>  

  <value>false</value>  

</property>  

<property>  

  <name>hive.metastore.uris</name>  

  <value>thrift://192.168.1.188:9083</value>  

</property>  

<property>
 <name>hive.server2.thrift.port</name>
 <value>10000</value>
</property>

</configuration>  

注：这里把hive的服务端和客户端都放在同一台服务器上了。服务端和客户端可以拆开，

2.Remote分开

1）将Hive的压缩包解压到weekend11、weekend12 配置环境变量

2）将mysql的驱动jar包添加weekend11（服务器端）节点hive的lib目录下

3）将服务器端的配置文件添加到weekend11节点下的conf目录下。

4）启动hive服务端程序：执行命令  hive --service metastore  

  这个时候服务一直在后台运行着。

  再开一个客户端查看服务是否启动

 

5）将客户端的配置文件添加到weekend12节点下的conf目录下。

  启动客户端前解决启动错误信息问题。

  解决方法：切换到hadoop的那个jar包目录 /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

               删除此目录下的jline-0.9.94.jar 然后将hive的那个高版本的jline-2.12.jar 复制到yarn目录下。

               scp -r /usr/local/hive/lib/jline-2.12.jar /usr/local/hadoop-2.6.5/share/hadoop/yarn/lib

6）客户端直接使用hive命令即可

将hive-site.xml配置文件拆为如下两部分

         1）、服务端配置文件

<?xml version="1.0"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

 <configuration>  

 <property>  

 <name>hive.metastore.warehouse.dir</name>  

 <value>/user/hive/warehouse</value>  //存储hive表的HDFS目录

</property>  

 <property>  

 <name>javax.jdo.option.ConnectionURL</name>  

 <value>jdbc:mysql://weekend08:3306/hive?createDatabaseIfNotExist=true</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionDriverName</name>  

  <value>com.mysql.jdbc.Driver</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionUserName</name>  

  <value>root</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionPassword</name>  

  <value>hadoop</value>  

</property>  

</configuration>  

         2）、客户端配置文件

<?xml version="1.0"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

 <configuration>  

<property>  

  <name>hive.metastore.warehouse.dir</name>  

  <value>/user/hive/warehouse</value>  //存储hive表的HDFS目录 与服务器端相同

</property>  

 <property>  

  <name>hive.metastore.local</name>  

  <value>false</value>  

</property>  

 <property>  

  <name>hive.metastore.uris</name>  

  <value>thrift://weekend11:9083</value> //服务端的地址

</property>  

<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>

</configuration>  

 

启动hive服务端程序

 hive --service metastore  &

 hive --service  hiveserver2 & 

客户端直接使用hive命令即可

root@my188:~$ hive   

Hive history file=/tmp/root/hive_job_log_root_201301301416_955801255.txt  

hive> show tables;  

OK  

test_hive  

Time taken: 0.736 seconds  

hive>  

 

客户端启动的时候要注意：

[ERROR] Terminal initialization failed; falling back to unsupported

java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected

at jline.TerminalFactory.create(TerminalFactory.java:101)

错误的原因： Hadoop jline版本和hive的jline不一致

 

可以将hive的启动命令写到脚本中

[hadoop@netcloud02 bin]$ cat start.sh 
#!/usr/bin/env bash

hive --service metastore >> /opt/hive/tmp.log 2>&1 & 
hive --service  hiveserver2 >> /opt/hive/tmp.log 2>&1 &

 

启动  hive --service  hiveserver2 这个服务就可以使用hive命令进入 hive操作状态。

再启动 hive --service metastore  这个服务后 就可以使用 dbvisualizer这样的第三发工具连接hive了或者

使用如下命令连接hive服务。

beeline
!connect jdbc:hive2://netcloud02:10000

 

 

 

 

 

 

 

小飞猪666
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hbase配置与Web页面管理及shell页面
欢迎来到小韩的CSDN~
06-15 4686
文章目录1.下载解压2.修改hbase-env.sh3.配置hbasesite.xml文件4.配置regionservers5.分发hbase7.修改环境变量8.启动HBase9.Hbase shell页面 直接安装吧，今天事太多了，算是记录下自己的安装及出错的地方以供以后使用，少年，加油，遇事别放弃，一定可以完成的，不会问百度，不行上必应，再不行Google，最后找老师，都可以，若放弃了便会止步不前。 1.下载解压 下载Hbase包 在master1节点解压hbase安装包 sudo tar zxv
Hive安装配置
ifeng
12-08 301
安装环境配置 将文件apache-hive-1.2.1-bin.tar.gz通过XFTP工具上传到其node1 解压压缩包 tar -zxvf apache-hive-1.2.1-bin.tar.gz 将其移动到/usr下 mv apache-hive-1.2.1-bin /usr/ 替换jline jar包 hadoop中yarn/lib下原有jline jar包版本：jline-0.9....
jline-2.13.jar
05-31
JLine jline/jline/2.13/jline-2.13.jar
hadoop+hbase报错使用jar文件（jline-2.12.1.jar）
05-07
jline版本低导致hbase启动失败，这里的jar文件完成升级。
Hive中jline.jar与Hadoop中的jline.jar版本不同，启动hive出错
唤不醒的梦
05-30 4123
[root@wanghy conf]# hive 15/05/30 10:36:52 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist Logging initialized using configuration in file:/root/work/hive/conf/hive-log4j.pro
大数据Hive（介绍+安装+使用）
最新发布
qq_65960840的博客
03-27 1427
对数据进行统计分析，SOL是目前最为方便的编程工具，但是MapReduce支持程序开发 (Java、Python等)但不支持SQL开发。Hive是一款分布式SQL计算的工具，其主要功能是将SQL语句翻译成MapReduce程序运行。
大数据之Hive：get_json_object函数使用
weixin_43597208的博客
06-14 1万+
目录1.数据2.取出第一个json对象3.取出第一个json的age字段的值4.复杂案例 1.数据 [{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}] 2.取出第一个json对象 hive (gmall)> select get_json_object('[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]','$[
hive高级分析函数与优化.rar_hive_hive 函数优化_hive 分析 大数据_hive高级优化_oldwlc
09-23
在大数据分析领域，Hive作为一个基于Hadoop的数据仓库工具，被广泛用于处理和分析大规模数据。本资料主要探讨Hive的高级分析函数及其优化技术，旨在帮助用户更高效地利用Hive进行大数据处理。以下是对标题和描述中...
大数据_Hive_视频_含有笔记
09-17
无论是对于希望从事大数据领域的技术人员，还是对于正在寻找更高效数据处理方案的企业而言，深入学习和掌握Hive都是非常有价值的。通过系统性的学习和实践，相信每位学习者都能在大数据领域取得不错的成就。
大数据题库_大数据_大数据；_hive；_hbase等；_hadoop；_
10-04
本题库主要关注大数据技术，特别是Hadoop、HBase和Hive等组件的应用和理解。 首先，Hadoop是Apache软件基金会的一个开源项目，核心是分布式文件系统HDFS（Hadoop Distributed File System）和MapReduce计算框架。...
hive客户端安装_hive客户端安装_hive_
10-01
本教程将详细讲解如何在Linux环境下安装Hive客户端，以便进行数据操作和分析。 一、Hadoop环境准备 在安装Hive客户端之前，确保你已经安装了Hadoop并且集群处于正常运行状态。Hadoop是Hive的基础，提供了分布式存储...
大数据 hive 实战数据
04-07
让我们深入探讨一下这两个部分以及与Hive、大数据、Hadoop和数据仓库相关的知识点。 首先，`video`数据可能包含了关于视频的各种信息，如视频ID、视频标题、时长、分类、上传日期、播放次数、评论数量等。这些数据...
hadoop2.6 & apache-hive-1.2.1-bin & pig-0.15.0 因jline不兼容
hua_ed的专栏
12-02 1119
默认： hadoop2.6 --> jline-0.9.94.jar apache-hive-1.2.1-bin  -->jline-2.12.jar      启动hive报 Found class jline.Terminal, but interface was expected ，需要hadoop的jline版本更高。将jline-2.12.jar替换到hadoop/shar
大数据Hive的案例、参数、动态分区、分桶、视图、索引、运行方式、权限管理、Hive的优化_03_03
yangshaojun1992的博客
09-10 3278
Hive案例 需求：统计出掉线率最高的前10基站 数据： record_time：通话时间 imei：基站编号 cell：手机编号 drop_num：掉话的秒数 duration：通话持续总秒数
hive 基本命令
binbin_09_10的博客
11-15 857
1. 创建 create: 创建数据库、表、视图 初级：create [database/table/view/schema] name;   在sql引擎内，均可用schema代替database 高级：create database if not exists name with dbproperties('creator'='binbin','date'='2018-11-15') ;...
Mapreduce执行过程详解
热门推荐
yangshaojun1992的博客
12-14 3万+
一、分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图： 二、Mapper任务的执行过程详解 每个Mapper任务是一个java进程，它会读...
Hive文件格式（表stored as 的五种类型）
yangshaojun1992的博客
12-20 2万+
hive文件存储格式包括以下几类： 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 5、PARQUET 1、其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；     SEQUENCEFILE，RCFILE，ORCFILE,PARQUET格式的表不能直接从本地...
大数据CDH之Impala_10_02
yangshaojun1992的博客
10-21 4454
Impala简介 Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。 基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点是CDH平台首选的PB级大数据实时查询分析引擎. http://www.cloudera.com/products/apache-hadoop/impala.html http://www.impala.i
大数据项目一电商平台下的日志分析08
yangshaojun1992的博客
10-10 3966
详细内容见文档
大数据学习：Hive简介及其作用与特征
大数据学习：Hive简介.pdf 和 Hive简介 《Hive数据仓库》人工智能与大数据学院 夏汛通过提供详细的介绍和目标，为学习者提供了在大数据领域中掌握Hive的基本知识和技能的指导。学习目标主要包括： 1.掌握数据仓库...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值