Hive集群部署指导文档（下）

最新推荐文章于 2023-07-18 17:33:06 发布
最新推荐文章于 2023-07-18 17:33:06 发布
阅读量288 收藏 1
点赞数
文章标签： hadoop 数据库 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24876715/article/details/110523125
版权

​​​​​​5 搭建Hadoop

5.1 解压安装包并修改解压后的文件夹名

将hadoop安装包解压至master的/opt目录：

tar -zxvf hadoop-3.1.3.tar.gz -C /opt

mv /opt/hadoop-3.1.3 /opt/hadoop

5.2 配置环境变量

vi /etc/profile

export HADOOP_HOME=/opt/hadoop

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_YARN_HOME=$HADOOP_HOME

export HADOOP_COF_DIR=$HADOOP_HOME/etc/hadoop

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export LD_LIBRARY_path=$HADOOP_HOME/lib/native

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$PATH

source /etc/profile


5.3 修改配置

5.3.1 配置hadoop-env.sh

进入hadoop配置文件目录：

cd /opt/hadoop/etc/hadoop/

vi hadoop-env.sh

export JAVA_HOME=/opt/jdk1.8.0_251

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_JOURNALNODE_USER=root

export HDFS_ZKFC_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

export HADOOP_CLIENT_OPTS="-Xmx2048m $HADOOP_CLIENT_OPTS"

export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

 

添加以上内容后保存并退出。

5.3.2 配置core-site.xml

进入hadoop配置文件目录：

cd /opt/hadoop/etc/hadoop/

vi core-site.xml

<configuration>

<property>

      <name>fs.default.name</name>

      <value>hdfs://mycluster</value>

</property>

<property>

      <name>hadoop.tmp.dir</name>

      <value>/srv/data2/hadoop/tmp</value>

</property>

<property>

      <name>ha.zookeeper.quorum</name>    

     <value>openlookeng-gz-gh-0001:2181,openlookeng-gz-gh-0002:2181,openlookeng-gz-gh-0003:2181</value>

</property>

<property>

      <name>hadoop.proxyuser.root.hosts</name>

      <value>*</value>

</property>

<property>

      <name>hadoop.proxyuser.root.groups</name>

      <value>*</value>

</property>

</configuration>

添加以上内容后保存，其中斜体标红的部分修改为实际节点对应的主机名，hadoop.tmp.dir的值可根据实际情况自行修改。

5.3.3 配置hdfs-site.xml

vi hdfs-site.xml

<configuration>

<property>

    <name>dfs.nameservices</name>

    <value>mycluster</value>

</property>

<!-- 定义hadoop集群文件的副本数量 -->

<property>

    <name>dfs.replication</name>

    <value>2</value>               

</property>

<!-- mycluster下面有两个NameNode，分别是nn1，nn2 -->

<property>

    <name>dfs.ha.namenodes.mycluster</name>

    <value>nn1,nn2</value>

</property>

<!-- nn1的RPC通信地址 -->

<property>

    <name>dfs.namenode.rpc-address.mycluster.nn1</name>

    <value>openlookeng-gz-gh-0001:9000</value>

</property>

<!-- nn1的http通信地址,有个管理界面用于下载文件 -->

<property>

    <name>dfs.namenode.http-address.mycluster.nn1</name>

    <value>openlookeng-gz-gh-0001:50070</value>

</property>

<!-- nn2的RPC通信地址 -->

<property>

    <name>dfs.namenode.rpc-address.mycluster.nn2</name>

    <value>openlookeng-gz-gh-0002:9000</value>

</property>

<!-- nn2的http通信地址 -->

<property>

    <name>dfs.namenode.http-address.mycluster.nn2</name>

    <value>openlookeng-gz-gh-0002:50070</value>

</property>

<!-- nn3的RPC通信地址 -->

<property>

    <name>dfs.namenode.rpc-address.mycluster.nn3</name>

    <value>openlookeng-gz-gh-0003:9000</value>

</property>

<!-- nn3的http通信地址 -->

<property>

    <name>dfs.namenode.http-address.mycluster.nn3</name>

    <value>openlookeng-gz-gh-0003:50070</value>

</property>

<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->

<property>

    <name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://openlookeng-gz-gh-0001:8485;openlookeng-gz-gh-0002:8485;openlookeng-gz-gh-0003:8485/mycluster</value>

</property>

<!-- 指定JournalNode在本地磁盘存放数据的位置 -->

<property>

    <name>dfs.journalnode.edits.dir</name>

    <value>/srv/data2/hadoop/journal</value>

</property>

<!-- 开启NameNode失败自动切换 -->

<property>

    <name>dfs.ha.automatic-failover.enabled</name>

    <value>true</value>

</property>

<property>

    <name>dfs.client.failover.proxy.provider.mycluster</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<property>

    <name>dfs.ha.fencing.methods</name>

    <value>

        sshfence

        shell(/bin/true)

    </value>

</property>

<!-- 使用sshfence隔离机制时需要ssh免登陆 -->

<property>

    <name>dfs.ha.fencing.ssh.private-key-files</name>

    <value>/root/.ssh/id_rsa</value>

</property>

<!-- 配置sshfence隔离机制超时时间（active坏了之后，standby如果没有在30秒之内未连接上，那么standby将变成active） -->

<property>

    <name>dfs.ha.fencing.ssh.connect-timeout</name>

    <value>30000</value>

</property>

<property>

   <name>dfs.permissions.enable</name>

   <value>true</value>

</property>

<property>

   <name>dfs.namenode.acls.enabled</name>

   <value>true</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

<value>/srv/data1/hadoop,/srv/data2/hadoop,/srv/data3/hadoop,/srv/data4/hadoop,/srv/data5/hadoop,/srv/data6/hadoop,/srv/data7/hadoop,/srv/data8/hadoop,/srv/data9/hadoop</value>

</property>

</configuration>

以上内容中标红的内容根据实际情况进行修改。

5.3.4 配置mapred-site.xml

vi mapred-site.xml

<configuration>

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

</configuration>

5.3.5 配置yarn-site.xml

vi yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<property>

   <name>yarn.resourcemanager.ha.enabled</name>

   <value>true</value>

</property>

<!-- 指定RM的cluster id -->

<property>

   <name>yarn.resourcemanager.cluster-id</name>

   <value>yrc</value>

</property>

<!-- 指定RM的名字 -->

<property>

   <name>yarn.resourcemanager.ha.rm-ids</name>

   <value>rm1,rm2</value>

</property>

<!-- 分别指定RM的地址 -->

<property>

   <name>yarn.resourcemanager.hostname.rm1</name>

   <value>openlookeng-gz-gh-0002</value>

</property>

<property>

   <name>yarn.resourcemanager.hostname.rm2</name>

   <value>openlookeng-gz-gh-0003</value>

</property>

<!-- 指定zk集群地址 -->

<property>

   <name>yarn.resourcemanager.zk-address</name>

   <value>openlookeng-gz-gh-0001:2181,openlookeng-gz-gh-0002:2181,openlookeng-gz-gh-0003:2181</value>

</property>

<!--reduce获取数据时通过shuffle方式-->

<property>

   <name>yarn.nodemanager.aux-services</name>

   <value>mapreduce_shuffle</value>

</property>

<property>

    <name>yarn.nodemanager.vmem-check-enabled</name>

    <value>false</value>

</property>

<property>

    <name>yarn.nodemanager.vmem-pmem-ratio</name>

    <value>5</value>

</property>

</configuration>

以上内容中标红的内容根据实际情况进行修改。

5.3.6 配置slaves和workers

在slaves和workers文件中写入集群各节点的主机名。

openlookeng-gz-gh-0001

openlookeng-gz-gh-0002

openlookeng-gz-gh-0003

5.4 配置其它节点

将master解压并配置好的hadoop文件夹传至其它节点上：

scp -r /opt/hadoop-3.1.3 root@192.168.0.200:/opt

scp -r /opt/hadoop-3.1.3 root@192.168.0.158:/opt

配置环境变量，同5.2

每个节点上创建core-site.xml配置的hadoop.tmp.dir目录：

mkdir -p /srv/data2/hadoop/tmp

5.5 格式化namenode和zkfc服务

1、启动各节点的journalnode服务：

cd /opt/hadoop-3.1.3/sbin

hdfs --daemon start journalnode

2、Master节点上执行命令格式化namenode：

hdfs namenode -format

3、将格式化nm1生成的文件目录拷贝到nm2的对应目录下：

scp -r /srv/data2/hadoop/tmp/dfs root@192.168.0.200:/srv/data2/hadoop/tmp/

4、Master节点上执行命令格式化zkfc：

hdfs zkfc -formatZK

5.6 启动hadoop

在集群master节点上执行脚本启动hadoop和yarn服务：

start-all.sh

停止服务：stop-all.sh

6 搭建hive

6.1 安装mysql

6.1.1 安装MySQL并启动服务

6.1.2 修改root用户密码及权限

  1. 查看初始密码：cat /var/log/mysqld.log |grep password
  2. 使用初始密码进入mysql客户端：mysql -u root -p  （回车之后键入初始密码）
  3. 修改root用户密码及权限

alter user 'root'@'localhost' identified by 'openLooKeng@123';

use mysql;

update user set host='%' where user='root';

select host, user from user;

flush privileges;

grant all PRIVILEGES on *.* to 'root'@'%' WITH GRANT OPTION;

flush privileges;

6.2 配置hive

6.2.1 解压安装包并修改文件夹名

将hive安装包解压至master的/opt目录：

tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt

cd /opt && mv apache-hive-3.1.2-bin hive

并将mysql的jdbc驱动jar包放到hive的lib目录下。

6.2.2 配置环境变量

vi /etc/profile

export HIVE_HOME=/opt/hive

export HIVE_CONF_DIR=/opt/hive/conf

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH

source /etc/profile

6.2.3 修改配置文件

进入hive的配置文件目录：

cd /opt/hive-3.1.2/conf

将hadoop的core-site.xml和hdfs-site.xml文件拷贝至改目录：

cp /opt/hadoop-3.1.3/etc/hadoop/core-site.xml .

cp /opt/hadoop-3.1.3/etc/hadoop/hdfs-site.xml .

 

配置hive-site.xml：

<configuration>

<property>

    <name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://192.168.0.131:3306/hive?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true</value>

</property>

<property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

    <description>Driver class name for a JDBC metastore</description>

</property>

<property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>root</value>

    <description>Username to use against metastore database</description>

</property>

<property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>openLooKeng@123</value>

    <description>password to use against metastore database</description>

</property>

<property>

    <name>hive.metastore.schema.verification</name>

    <value>false</value>

</property>

<property>

    <name>hive.metastore.warehouse.dir</name>

    <value>/user/hive/warehouse</value>

    <description>location of default database for the warehouse</description>

</property>

<property>

    <name>hive.metastore.uris</name>

    <value>thrift://192.168.0.37:9083,thrift://192.168.0.157:9083</value>

    <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>

</property>

<property>

    <name>hive.exec.dynamic.partition.mode</name>

    <value>nonstrict</value>

</property>

<property>

    <name>hive.server2.thrift.bind.host</name>

    <value/>

    <description>Bind host on which to run the HiveServer2 Thrift service.</description>

</property>

<property>

    <name>hive.server2.thrift.port</name>

    <value>10000</value>

    <description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'.</description>

</property>

<property>

    <name>hive.server2.logging.operation.enabled</name>

    <value>true</value>

    <description>When true, HS2 will save operation logs and make them available for clients</description>

</property>

<property>

    <name>hive.server2.logging.operation.log.location</name>

    <value>/tmp/operation_logs</value>

    <description>Top level directory where operation logs are stored if logging functionality is enabled</description>

</property>

<property>

    <name>hive.execution.engine</name>

    <value>mr</value>

</property>

<property>

    <name>hive.exec.mode.local.auto</name>

    <value>true</value>

</property>

<property>

    <name>hive.support.concurrency</name>

    <value>true</value>

</property>

</configuration>

以上内容中标红的内容根据实际情况进行修改。

6.2.4配置其它节点

将master解压并配置好的hive文件夹传至其它节点上：

scp -r /opt/hive-3.1.2 root@192.168.0.200:/opt

scp -r /opt/hive-3.1.2 root@192.168.0.158:/opt

配置环境变量，同6.2.2

6.2.5初始化数据库

  1. hdfs文件系统上创建目录并修改权限：

hdfs dfs -mkdir -p /user/hive/warehouse

hdfs dfs -mkdir -p /tmp/

hdfs dfs -chmod -R 777 /user/hive/warehouse

hdfs dfs -chmod -R 777 /tmp/

    2. Master上执行命令初始化数据库：

schematool  -initSchema -dbType mysql

6.3 启动hive

执行命令启动元数据服务：

nohup hive --service metastore>metastore.log &

启动hiveserver2服务后可使用beeline登录客户端：

nohup hive --service hiveserver2 > hiveserver2.log &

使用Beeline登录客户端的方式：

beeline -u jdbc:hive2://192.168.0.131:10000 -n root

布布米
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive集群部署
gamespiay123的博客
08-08 1776
hive集群部署
hive 集群部署
最新发布
qq_34304427的博客
04-07 584
从中我们可以看出第二个异常是 google Guava 库中的一个类不存在导致，笔者这边看了 hive 依赖的是 guava-19.0.jar，而 guava-27.0-jre.jar，二者的版本差异很大，笔者这边选择 去掉 hive 的依赖，将 hadoop 的依赖拷贝的 hive 的 lib 目录。hadoop 依赖包的位置：/opt/module/hadoop/share/hadoop/common/lib。hive 依赖包的位置：/opt/module/hive/lib。
Hive集群部署
雪辉博客
07-26 4410
文章目录Hive集群部署一、部署规划1.1 版本说明1.2 服务器规划1.3 配置目录规划二、部署MySQL3.1 创建MySQL用户组和用户3.2 配置目录2.3 解压安装包2.4 软链接程序目录并配置环境变量2.5 修改配置文件2.6 初始化2.7 启动数据库2.8 创建hive用户三、Hive部署3.1 解压安装包并配置环境变量3.2 修改核心配置文件3.2.1 配置 hive-site.xml3.2.2 添加MySQL连接驱动3.2.3 初始化数据库3.2.3.1 报错处理3.2.4 启动 Hive
Spark开发指导文档
05-05
5. 集群部署：可以将Spark应用提交到YARN、Mesos或独立Spark集群运行。 五、优化技巧 1. 内存管理：合理设置executor内存、driver内存，避免溢出，使用Tachyon或Alluxio作为缓存系统提升速度。 2. 广播变量和累加器...
大数据【经典文档】：CDH集群运维手册【61页】.rar
05-21
2. **集群规划与部署**：运维手册会指导如何规划硬件资源，如何根据业务需求合理配置节点数量和角色（如NameNode、DataNode、ResourceManager等）。同时，部署过程中的网络配置、安全设置、服务依赖关系也是重要内容...
CDH集群部署手册(For CDH5)
08-28
《CDH集群部署手册(For CDH5)》是一份...总之，《CDH集群部署手册(For CDH5)》是一份全面的指导文档，涵盖了从服务器规划、数据库配置到组件安装和高可用性设置的所有关键步骤，对于成功部署和管理CDH集群至关重要。
hive 配置文件
03-03
hive 配置文件，包括hive-site.xml与hive-env.sh两个配置文件，可根据自己需要修改
Hive分布式集群部署
上帝之手&传奇 - MartinLee
08-12 2907
Hive编程，可以使开发者不需要考虑底层MapReduce算法如何实现，而只需集中精力关注SQL语句的编写即可。 Apache Hive 是建立在Hadoop上的数据仓库，它提供了一系列工具，可以用来查询和分析数据，Hive提供了执行SQL的接口，用于操作存储在Hadoop分布式文件系统HDFS中的数据。 Hive 可以将结构化的数据文件映射成为一张数据库表，并且提供了便捷的sql语句查询功能，开发者可以通过SQL语句将实现的业务功能转化为MapReduce任务来运行。 Hive 数据仓库是构建在Ha
Hive集群部署实验
qq_49096000的博客
11-18 1441
在Hadoop集群上部署Hive数据仓库，使用MySQL作为元数据存储。在Hive集群平台创建测试表，验证HiveQL在Hadoop Mapreduce中的执行情况。本次实验中，Hive采用MySQL数据库保存Hive的元数据，而不是采用Hive自带的derby来存储元数据。Hive常用的HiveQL操作命令主要包括：数据定义、数据操作。Hive实现最大的优势是，对于非程序员，不用学习编写Java MapReduce代码，也可以完成MapReduce任务。
hive集群部署以及beeline和hive
微电子学与固体电子学-俞驰
05-26 1084
我们会发现一个奇怪的现象就是 hbase是一条命令可以启动整个集群的，但是hive却不是，这是怎么回事呢？ 因为hive只是一个SQL客户端而已。 数据并不在hive中，hive只是帮忙从hdfs->我们看到的数据做了一个SQL映射而已。 情况 方案 想在集群的datanode中通过hive查询数据 需要在namenode和datanode中分别部署和启动hive 只在集群的namenode中通过hive查询数据 只需要在n..
大数据学习03-Hive分布式集群部署
Java721的博客
07-18 706
本次实验中，Hive采用MySQL数据库保存Hive的元数据，而不是采用Hive自带的derby来存储元数据。Hive常用的HiveQL操作命令主要包括：数据定义、数据操作。Hive实现最大的优势是，对于非程序员，不用学习编写Java MapReduce代码，也可以完成MapReduce任务。
Hive部署
Clear的博客
08-25 476
Hive笔记 HIve 基本概念 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能 Hive 本质：将 HQL 转化成 MapReduce 程序 （1）Hive 处理的数据存储在 HDFS （2）Hive 分析数据底层的实现是 MapReduce （3）执行程序运行在 Yarn 上 Hive 架构原理 1）用户接口：Client CLI（command-line interface）、JDBC/ODBC(jdbc 访问 hive)、WEBU
Hive集群部署启动Zookeeper&Hadoop&MySQL&Hive操作详细步骤
林世广
06-19 3663
Hive集群部署启动Zookeeper&Hadoop&MySQL&Hive操作详细步骤
Hive集群部署指导文档（上）
qq_24876715的博客
12-01 156
1. 环境及安装包信息 系统：CentOS 7.6 jdk-8u251-linux-x64.tar.gz apache-zookeeper-3.6.1-bin.tar.gz hadoop-3.1.3.tar.gz Mysql5.7.30 apache-hive-3.1.2-bin.tar.gz 安装包下载地址： https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html https://www..
记一次 Centos7.x 基于 Hadoop 3.x 集群搭建部署 Hive
一花一世界
12-22 1353
编写目的： 提示：这里可以添加学习目标 例如：一周掌握 Java 入门知识 学习内容： 提示：这里可以添加要学的内容 例如： 1、 搭建 Java 开发环境 2、 掌握 Java 基本语法 3、 掌握条件语句 4、 掌握循环语句 学习时间： 提示：这里可以添加计划学习的时间 例如： 1、 周一至周五晚上 7 点—晚上9点 2、 周六上午 9 点-上午 11 点 3、 周日下午 3 点-下午 6 点 学习产出： 提示：这里统计学习计划的总量 例如： 1、 技术笔记 2 遍 2、CSDN 技术博客
Redhat 7.6 CDH 6.3.3 集群部署详述
9. **集群部署安装**：文档的核心部分是集群的部署，包括安装和启动Cloudera Manager Server，通过Cluster Manager安装工具引导用户完成CDH组件的安装。具体步骤包括登录CM，选择试用期，指定安装主机，配置存储库，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值