Hadoop CDH4.5 Hive部署

最新推荐文章于 2022-03-24 22:25:33 发布
最新推荐文章于 2022-03-24 22:25:33 发布
阅读量128 收藏
点赞数
文章标签： 数据库 大数据 ldap
原文链接：https://my.oschina.net/guol/blog/265748
版权

为什么80%的码农都做不了架构师？>>>   hot3.png

Hive的部署，Hive是啥呢？

Hive部署的节点信息如下：

1    安装Hive包

        与Hive相关的包有四个：

            hive – 基础安装包，提供了运行时完整的语言支持，必须安装的

            hive-metastore – 在作为单独的服务运行时提供了存储元数据的脚本，可选的。

            hive-server – 在作为单独的HiveServer服务运行时，提供运行脚本，可选的。

            hive-server2 –在作为单独的HiveServer服务运行时，提供运行脚本，可选的。

        安装
 

apt-get install <pkg1> <pkg2>

2    配置Hive

        配置Hive的Metastore(Hive的metastore服务存储了Hive表和分区相关的库的metadata)，Hive运行总共有三种模式：

            1    Embedded Mode


                    这是CDH部署Hive的metastore的默认模式，在这种模式下metastore使用一个derby数据库，database和metastore服务同时运行在HiveServer的主进程中，所以启动Hive进程的时候，它们是同时启动的。这种模式使用很少的配置就能运行，但是它只支持一个活跃用户。

             2    Local Mode        


                    这种模式下Hive的metastore服务也是运行在HiveServer进程中的，但是metastore数据库是运行在一个单独的进程中的，而且可以分离到其他机器上。

             3    Remote Mode

                    在这种模式下metastore服务运行在自己的JVM进程中，HiveServer2，HCatalog, Cloudera ImpalaTM，和其他进程通过Thrift network API来通讯，metastore服务通过JDBC和metastore数据库通讯，HiveServer进程和metastore服务可以部署在同一台机机器上。

3    配置Metastore数据库(支持多种数据库：mysql/postgresql)

        1    配置一个远程MySQL数据库作为Hive Metastore(metastorehost) 

apt-get install mysql-server
service mysql start

        2    配置MySQL服务和转接器 

apt-get install libmysql-java
ln -s /usr/share/java/libmysql-java.jar /usr/lib/hive/lib/libmysql-java.jar

        3    创建库和用户

                1    初始化数据库，登陆mysql数据库执行以下命令 

CREATE DATABASE metastore;
USE metastore;
SOURCE /usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.10.0.mysql.sql;

                2    为Hive配置一个MySQL用户来访问mysql。 

CREATE USER 'hive'@'metastorehost' IDENTIFIED BY 'mypassword';
REVOKE ALL PRIVILEGES, GRANT OPTION FROM 'hive'@'metastorehost';
GRANT SELECT,INSERT,UPDATE,DELETE,LOCK TABLES,EXECUTE ON metastore.* TO 'hive'@'metastorehost';
FLUSH PRIVILEGES;
quit;

        4    配置Metastore服务连接MySQL数据库(client, metastore, HiveServer) /etc/hadoop/conf/hive-site.xml
 

<property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://myhost/metastore</value>
 <description>the URL of the MySQL database</description>
</property>

<property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
</property>

<property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>hive</value>
</property>

<property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <value>mypassword</value>
</property>

<property>
 <name>datanucleus.autoCreateSchema</name>
 <value>false</value>
</property>

<property>
 <name>datanucleus.fixedDatastore</name>
 <value>true</value>
</property>

<property>
 <name>datanucleus.autoStartMechanism</name>
 <value>SchemaTable</value>
</property>

<property>
 <name>hive.metastore.uris</name>
 <value>thrift://<n.n.n.n>:9083</value>
 <description>IP address (or fully-qualified domain name) and port of the metastore host</description>
</property>

4    配置HiveServer2

        在使用HiveServer2之前，必须做如下配置的改变:

            1    Table Lock Manager (Required)，你必须适当的配置Hive's Table Lock Manager，这个需要你安装ZooKeeper，Lock Manager设置如下(/etc/hive/conf/hive-site.xml)： 

<property>
 <name>hive.support.concurrency</name>
 <description>Enable Hive's Table Lock Manager Service</description>
 <value>true</value>
</property>

<property>
 <name>hive.zookeeper.quorum</name>
 <description>Zookeeper quorum used by Hive's Table Lock Manager</description>
 <value>zk1.myco.com,zk2.myco.com,zk3.myco.com</value>
</property>
#你在开启Lock Manager的时候不指定zookeeper节点列表回导致不可预估的行为。如果你的zookeeper监听的不是默认的端口，则需要在Hive-site.xml重新设置端口信息。
<property>
 <name>hive.zookeeper.client.port</name>
 <value>2222</value>
 <description>The port at which the clients will connect.</description>
</property>

            2    JDBC驱动配置的连接格式 

HiveServer_v2  jdbc:hive2://<host>:<port>     org.apache.hive.jdbc.HiveDriver
HiveServer_v1  jdbc:hive://<host>:<port>      org.apache.hadoop.hive.jdbc.HiveDriver

            3    认证授权

                    HiveServer2可以为所有的连接进行授权认证，默认情况下允许所有客户端连接，HiveServer2支持Kerberos或者LDAP认证，可以再hive-site.xml中通过hive.server2.authentication选项进行配置。你也可以配置认证插件，它允许你提供普通的认证给HiveServer2。

            4    HiveServer2 for YARN

                    如果你把HiveServe2和YARN搭配使用，你就必须设置HADOOP_MAPRED_HOME环境变量在/etc/default/hive-server2文件中 

export HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce

            5    同时运行HiveServer2和HiveServer

                    Cloudera建议你在大多数情况下使用HiveServer2来代替HiveServer (HiveServer1)， HiveServer2和HiveServer1可以运行在同一个系统中，共享相同的数据设置。因为两者都是监听10000端口，所以如果运行在同一台机器上需要你修改其中一个的监听端口。例如修改HiVeServer2的端口在hive-site.xml文件中：
 

<property>
 <name>hive.server2.thrift.port</name>
 <value>10001</value>
 <description>TCP port number to listen on, default 10000</description>
</property>

5    启动Metastore

        如果你运行的是远程模式的metastore，则你必须在启动HiveServer2之前启动metastore服务。如下: 

service hive-metastore start 或者 hive --service metastore

6    启动,，停止HiveServer2服务

        cloudera建议使用HiveServer2服务，因为版本2支持多客户端和客户认证 

            1    启动
 

service hive-server2 start
            2    检查HiveServer2是否正常运行，在命令行运行如下命令： 

beeline
beeline>SHOW TABLES
                    beeline是hiveserver2的新CLI接口，你可以使用beeline和Hiveserver2进行交互，例如： 

$ beeline
beeline> !connect jdbc:hive2://localhost:10000 username password org.apache.hive.jdbc.HiveDriver
0: jdbc:hive2://localhost:10000>
            3    停止  

service hive-server2 stop

7    启动HiveServer1

        1    启动
 

service hiveserver start

        2    验证，启动hive1的CLI接口
 

hive
hive> show tables;
OK
Time taken: 10.345 seconds

8    Hive配合HBase使用

        允许hive脚本连接Hbase，只需要在脚本中添加以下语句，例如： 

ADD JAR /usr/lib/hive/lib/zookeeper.jar;
ADD JAR /usr/lib/hive/lib/hive-hbase-handler-<Hive-HBase-Handler_version>-cdh<CDH_version>.jar
ADD JAR /usr/lib/hive/lib/guava-<Guava_version>.jar;

9    在客户端安装Hive的JDBC

        1    安装
 

apt-get install hive-jdbc

        2    设置
 

把/usr/lib/hive/lib/*.jar和/usr/lib/hadoop/*.jar增加到你的classpath中

10    为使用YARN设置HADOOP_MAPRED_HOME

        如果一些用户想使用pig、hive、sqoop来提交mapreduce2(YARN)的job，则需要设置HADOOP_MAPRED_HOME环境变量，如下： 

export HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce

11    你的hive数据存储在HDFS上面，一般在/user/hive/warehouse目录下。一般是hive-site.xml的hive.metastore.warehouse.dir属性设置。



下面开始部署，部署环境如下： 

IP              Hostname   
192.168.1.40     U-4           Hive-server
192.168.1.50     U-5           Metastore
192.168.1.70     U-7           MetastoreDB(mysql)  Hive-server2
1    U-7上安装Metastore的后端数据库，本文采用mysql 

apt-get install mysql-server
2    U-7安装mysql转接器 

apt-get install libmysql-java
ln -s /usr/share/java/libmysql-java.jar /usr/lib/hive/lib/libmysql-java.jar
3    U-7 mysql数据库初始化，初始化metastore库 

#mysql -uroot -hlocalhost -p
mysql> CREATE DATABASE metastore;
Query OK, 1 row affected (0.00 sec)

mysql> USE metastore;
Database changed
mysql> SOURCE /usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.12.0.mysql.sql;
Query OK, 0 rows affected (0.00 sec)

mysql>  CREATE USER 'hive'@'U-5' IDENTIFIED BY 'mypassword';
Query OK, 0 rows affected (0.00 sec)

mysql> REVOKE ALL PRIVILEGES, GRANT OPTION FROM 'hive'@'U-5';
Query OK, 0 rows affected (0.00 sec)

mysql> GRANT SELECT,INSERT,UPDATE,DELETE,LOCK TABLES,EXECUTE ON metastore.* TO 'hive'@'U-5';
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

mysql> quit
        除了使用SOURCE /usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.12.0.mysql.sql来手动初始化 metastore库外，官方还提供一个一个工具schematool用来自动化初始化 metastore库，不过这个 schematool工具没找到.......


4    U-7上修改mysql配置文件/etc/mysql/my.cnf  

#bind-address            = 172.0.0.1
bind-address            = 0.0.0.0

        mysql默认监听本地回环地址，而一会儿要从远程链接mysql，所以需要修改监听地址。然后重启mysql服务即可。 

5    U-5安装metastore 

apt-get install hive-metastore
6    U-5配置/etc/hive/conf/hive-site.xml文件 

<property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://U-7/metastore</value>
 <description>the URL of the MySQL database</description>
</property>

<property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
</property>

<property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>hive</value>
</property>

<property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <value>mypassword</value>
</property>

<property>
 <name>datanucleus.autoCreateSchema</name>
 <value>false</value>
</property>

<property>
 <name>datanucleus.fixedDatastore</name>
 <value>true</value>
</property>

<property>
 <name>datanucleus.autoStartMechanism</name>
 <value>SchemaTable</value>
</property>

<property>
 <name>hive.metastore.uris</name>
 <value>thrift://U-5:9083</value>
 <description>IP address (or fully-qualified domain name) and port of the metastore host</description>
</property>

</configuration>
7    U-5上启动metastore服务 

service hive-metastore start
8    U-5的hive-site.xml文件拷贝到U-7的相同目录下，并在U-7的hive-site.xml中追加如下内容： 

<property>
 <name>hive.support.concurrency</name>
 <description>Enable Hive's Table Lock Manager Service</description>
 <value>true</value>
</property>

<property>
 <name>hive.zookeeper.quorum</name>
 <description>Zookeeper quorum used by Hive's Table Lock Manager</description>
 <value>U-2,U-3,U-4</value>
</property>
</configuration>

9    U-7上安装hive-server2 

apt-get install hive-server2
10  U-7启动hive-server2 

service hive-server2 start
11  U-7上使用beeline客户端测试

12    因为集群中同时支持hive-server和hive-server2，在U-4上安装hive-server 

apt-get install hive-server

13    U-7的hive-site.xml文件拷贝到U-4的相同目录下

14    U-4上使用hive客户端命令进行测试







转载于:https://my.oschina.net/guol/blog/265748

weixin_33989058
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CDH部署Hive、Spark、oozie、hue、sqoop等
菜鸟的博客
07-18 1120
hive spark cdh
CDH550@hive安装部署
11-14
cdh5.5.0下的hive的安装部署详细操作。hive的安装其实有两部分组成，一个是Server端、一个是客户端，所谓服务端其实就是Hive管理Meta的那个Hive,服务端可以装在任何节点上，当hive服务并发量不高时推荐部署在数据节点上，并发量高时推荐单独部署在若干台机器
CDH 部署 Hive，Oozie，Hue
涵sir的博客
10-23 769
前言 在CDH集群上添加Hue，首先要部署Hive和Oozie。 Hive 是一种数据仓库系统，提供名为 HiveQL 的 SQL 类语言。 Oozie 是群集中管理数据处理作业的工作流协调服务。 Hue 是与包括 Apache Hadoop 的 Cloudera Distribution 配合使用的图形用户界面。 一、准备工作 Hive、Oozie、Hue都需要创建数据库和用户 CREATE DATABASE hive DEFAULT CHARACTER SET UTF8; CREATE USER '
大数据开发之Hive篇----部署Hive
weixin_39702831的博客
10-18 285
既然我们要安装部署hive，那么首先我们要下载一个hive的压缩包吧，这个我们统一使用cdh5.7.0版本的，因为我们的hadoop是cdh5.7.0版本的，当我们在是用这些apache组件时请大家务必将后面的尾号对其，都是使用cdh的版本。 我们使用的是hive-1.1.0-cdh5.7.0.tar.gz这个包，需要的可以向我要(毕竟下载实在太慢了，国外的源)，qq：340518941。 然...
【大数据学习】之Hive部署
奔走觅衣粮de博客
10-19 254
为了减少冲突，一般来说版本都用统一的比较好，所以选择CDH的部署。 前面的hadoop是选择hadoop-2.6.0-cdh5.7.0 ，所以hive安装的版本跟hadooop的尾巴对准了。 1、打开http://archive-primary.cloudera.com/cdh5/cdh/5/ 2、ctrl+F 搜 hive-1.1.0-cdh5.7.0  , 右键选择并点击 hive-1....
hadoop生态圈hive数据仓库的部署详细流程
02-02
Hadoop 生态圈 Hive 数据仓库的部署详细流程 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行。其...
Hive-2.1.1-CDH-3.6.1 相关JDBC连接驱动 Jar 包集合
04-20
01、hadoop-common-3.0.0-cdh6.3.1.jar 02、hive-exec-2.1.1-cdh6.3.1.jar 03、hive-jdbc-2.1.1-cdh6.3.1.jar 04、hive-jdbc-2.1.1-cdh6.3.1-standalone.jar 05、hive-metastore-2.1.1-cdh6.3.1.jar 06、hive-...
hive2.1.1-cdh6.3.2
05-08
Hive 2.1.1是Hive的一个重要版本，而CDH6.3.2是Cloudera发行的商业版Hadoop平台，它包含了对Hive 2.1.1的集成和支持。这个压缩包文件“hive2.1.1-cdh6.3.2”包含了与CDH6.3.2兼容的Hive JDBC驱动程序和其他相关组件...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
CDH6针对hive on spark的调优文档，这个是生产的实战经验
hadoop cdh5安装
01-06
在本文中，我们将深入探讨如何在Linux环境中安装Hadoop CDH5，这是一个广泛使用的Hadoop分发版，包含了多个开源大数据处理组件。CDH5提供了高效的数据存储、处理和分析功能，适合大规模数据处理场景。 首先，安装...
cdh的hive配置文件位置_手动安装Cloudera Hive CDH
weixin_34043280的博客
01-26 926
本文主要记录手动安装Cloudera Hive集群过程，环境设置及Hadoop安装过程见手动安装Cloudera Hadoop CDH,参考这篇文章，hadoop各个组件和jdk版本如下：1234hadoop-2.0.0-cdh4.6.0hbase-0.94.15-cdh4.6.0hive-0.10.0-cdh4.6.0jdk1.6.0_38hadoop各组件可以在这里下载。集群规划为7个节点，每...
2021年全国职业院校技能大赛 “大数据技术与应用”—模拟赛题（四）
white_mvlog的博客
03-24 4582
2021年全国职业院校技能大赛 “大数据技术与应用” ——模拟赛题（四） 持续更新相关赛题，包括2021年国赛模拟题10套、2019年广东省真题赛题、相关比赛技巧、难点突破技巧等等，需要的关注小编或者公众号 NoWrite
CDH6.3.2 Hive安装
程志伟的博客
03-07 3971
关注微信公共号：小程在线 关注CSDN博客：程志伟的博客 在CDH上进行Hive安装，过程如下： 1.1 添加服务 1.2 添加Hive服务 1.3 将 Hive 服务添加到 Cluster 1 1.4 配置hive元数据 填写在mysql创建的库名，用户名，密码。 1.5 测试通过后继续 1.6 自动启动Hive进程 ...
cdh版本的hive安装以及配置
weixin_30726161的博客
02-08 947
hive依赖hadoop 需要的软件包：hive-0.13.1-cdh5.3.6.tar.gz 、hadoop-2.5.0-cdh5.3.6.tar.gz 1、hadoop的安装步骤请访问： 　　　　http://www.cnblogs.com/xningge/articles/8433297.html 2、将hive软件包上传到Linux系统指定的目录：/opt/softwares/cd...
2021年全国职业院校技能大赛 “大数据技术与应用”—模拟赛题（一）
热门推荐
white_mvlog的博客
10-24 2万+
2021年全国职业院校技能大赛 “大数据技术与应用” ——模拟赛题（一） 持续更新相关赛题，包括2021年国赛模拟题10套、2019年广东省真题赛题、相关比赛技巧、难点突破技巧等等，需要的关注小编或者公众号 NoWrite
Linux打开hive出现Logging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common
weixin_43706372的博客
06-27 2万+
Linux打开hive出现Logging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common-2.1.0.jar!/hive-log4j2.properties Async: true Exception in thread “main” java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lan
Hive安装配置
u014019693的博客
11-12 517
hive官方文档的地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted 安装hive，用的0.13.1版本 1、搭建好hadoop的环境 2、解压hive,进入到conf文件夹修改 hive-env.sh    ①：修改 HADOOP_HOME 为hadoop的安装路径：       HADOOP_HOME=
hive实战(2)hive安装和管理
猿类崛起
02-02 242
1.下载并解压hive cd /opt tar -zxvf apache-hive-1.2.1-bin.tar.gz mv apache-hive-1.2.1-bin hive-1.2.1  2.配置环境变量     vi /etc/profile export HIVE=/opt/hive-1.2.1 export PATH=${HIVE}/bin:${PATH}      ...
cdh的hive配置文件位置_cdh版本的hive安装以及配置
weixin_39837867的博客
12-22 1132
hive依赖hadoop需要的软件包：hive-0.13.1-cdh5.3.6.tar.gz 、hadoop-2.5.0-cdh5.3.6.tar.gz1、hadoop的安装步骤请访问：http://www.cnblogs.com/xningge/articles/8433297.html2、将hive软件包上传到Linux系统指定的目录：/opt/softwares/cdh3、解压hive-0....
hadoop cdh7
最新发布
08-03
CDH7是Cloudera的Hadoop发行版，它集成了多个关键组件和工具，包括Hadoop基础组件（如HDFS和YARN）、Hive、Impala、Spark等，可以提供完整的大数据处理和分析解决方案。 Hadoop CDH7具有以下几个特点： 1. 高可靠...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值