23年hadoop单机版+hive

已于 2024-03-13 16:24:37 修改
阅读量1k 收藏 4
点赞数
文章标签： hadoop hive 硬件架构
于 2023-07-02 16:45:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22973811/article/details/131502457
版权

文章目录

说明

工作需要研究hive功能，线上环境不能动，搭建单机版hadoop+hive测试环境，使用当前最新hadoop 3.3.6+ hive 3.1.3。

分享

环境信息

  • 系统环境 centos7
  • 安装目录：
    • java: /usr/java/
    • hadoop: /opt/module/
    • hive: /opt/module/

安装

jdk

  • 准备java8安装包：jdk-8u201-linux-x64.tar.gz

  • 解压安装：mkdir -p /usr/java && tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/java/

  • 配置环境变量，编辑文件：vi /etc/profile.d/my_env.sh 增加jdk环境变量

    
#JAVA_HOME export是全局变量
export JAVA_HOME=/usr/java/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin

  • 刷新配置 source /etc/profile

  • 验证 java -version

hadoop

  • 下载hadoop 3.3.6 下载地址 ，解压安装包: mkdir -p /opt/module/ && tar -zxvf hadoop-3.3.4.tar.gz -C /opt/module/
  • hadoop不添加到环境变量，hive配置文件指定物理路径

配置core-site.xml

  • 修改文件：vi /opt/module/hadoop-3.3.6/etc/hadoop/core-site.xml，configuration 节点间增加主机和用户组权限配置，完整内容如下：
<configuration>
    <property>
            <name>hadoop.proxyuser.root.hosts</name>
            <value>*</value>
    </property>
    <property>
            <name>hadoop.proxyuser.root.groups</name>
            <value>*</value>
    </property>
</configuration>

mysql

  • hive运行需要mysql存储元数据，mysql8版本 8.0.33 下载地址
  • 安装过程
# 解压安装包
tar -xvf mysql-*-1.el7.x86_64.rpm-bundle.tar

# 安装 
rpm -ivh mysql-community-common-*-1.el7.x86_64.rpm --nodeps --force && rpm -ivh mysql-community-libs-*-1.el7.x86_64.rpm --nodeps --force && rpm -ivh mysql-community-client-*-1.el7.x86_64.rpm --nodeps --force && rpm -ivh mysql-community-server-*-1.el7.x86_64.rpm --nodeps --force

# 验证，查看安装mysql
rpm -qa | grep mysql

# 输入以下命令，完成mysql初始化
mysqld --initialize
# 设置目录权限
chown mysql:mysql /var/lib/mysql -R

# 启动服务和开机启动
systemctl start mysqld.service && systemctl enable mysqld

# 查看默认初始化密码
cat /var/log/mysqld.log | grep password
# 重置root密码并设置root账号远程登录
mysql -uroot -p --connect-expired-password -e "alter user 'root'@'localhost' identified by '12WE#o89T';
create user 'root'@'%' identified by '12WE#o89T';
USE mysql;
grant all on *.* TO 'root'@'%';
FLUSH PRIVILEGES;"

hive

安装

  • 解压安装：mkdir -p /opt/module/ && tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/module/
  • 配置环境标量，编辑文件：vi /etc/profile.d/my_env.sh，增加如下内容
export HIVE_HOME=/opt/module/apache-hive-3.1.3-bin
export PATH=$PATH:$HIVE_HOME/bin
  • 刷新配置 source /etc/profile

配置hive-site.xml

  • 复制文件，cp /opt/module/apache-hive-3.1.3-bin/conf/hive-default.xml.template /opt/module/apache-hive-3.1.3-bin/conf/hive-site.xml
  • 修改下面内容，注意自己MySQL配置，vi /opt/module/apache-hive-3.1.3-bin/conf/hive-site.xml，添加如下内容
  <!-- mysql连接地址 -->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?&amp;createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false&amp;allowPublicKeyRetrieval=true</value>
  </property>
  <!-- mysql用户名 -->
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <!-- mysql密码 -->
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>12WE#o89T</value>
  </property>
  <!-- mysql连接驱动类，这里用mysql8,mysql5是：com.mysql.jdbc.Driver -->
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
  </property>
  <property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value> 
  </property>
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
  <!-- hive登录用户名 -->
  <property>
    <name>hive.server2.thrift.client.user</name>
    <value>root</value>
    <description>Username to use against thrift client</description>
  </property>
  <!-- hive登录用户密码 -->
  <property>
    <name>hive.server2.thrift.client.password</name>
    <value>1234</value>
    <description>Password to use against thrift client</description>
  </property>
  <!-- 数据缓存目录 -->
  <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/tmp/hive</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
  <property>
    <name>hive.downloaded.resources.dir</name>
    <value>/tmp/hive/resources</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>
  • 设置缓存目录权限：chmod 777 /tmp/hive

配置hive-env

  • 复制hive-env.sh文件 cp /opt/module/apache-hive-3.1.3-bin/conf/hive-env.sh.template /opt/module/apache-hive-3.1.3-bin/conf/hive-env.sh
  • 修改文件添加Hadoop、hive路径，vi /opt/module/apache-hive-3.1.3-bin/conf/hive-env.sh
HADOOP_HOME=/opt/module/hadoop-3.3.6
export HIVE_CONF_DIR=/opt/module/apache-hive-3.1.3-bin/conf

初始化mysql数据库

  • 下载mysql连接jar：wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.30/mysql-connector-java-8.0.30.jar，放在 cp mysql-connector-java-*.jar /opt/module/apache-hive-3.1.3-bin/lib && ls /opt/module/apache-hive-3.1.3-bin/lib/mysql-connector-java-*.jar
  • 初始化mysql数据库：/opt/module/apache-hive-3.1.3-bin/bin/schematool -initSchema -dbType mysql
  • 最后提示completed说明初始化成功
Initialization script completed
schemaTool completed
  • 初始化报错
    SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion character (code 0x8
at [row,col,system-id]: [3215,96,"file:/opt/module/apache-hive-3.1.3-bin/conf/hive-site.xml"]
    at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:3101)
    at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:3050)
    at org.apache.hadoop.conf.Configuration.loadProps(Configuration.java:2923)
    at org.apache.hadoop.conf.Configuration.addResourceObject(Configuration.java:1035)
    at org.apache.hadoop.conf.Configuration.addResource(Configuration.java:940)
    at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5154)
    at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:5107)
    at org.apache.hive.beeline.HiveSchemaTool.<init>(HiveSchemaTool.java:96)
    at org.apache.hive.beeline.HiveSchemaTool.main(HiveSchemaTool.java:1473)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:328)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:241)

    解决方法，删除：file:/opt/module/apache-hive-3.1.3-bin/conf/hive-site.xml 3215行注释即可，原因是xml解析异常。

启动验证

hive命令
  • hive命令是本地客户端登录，官方推荐使用hiveServer2的beeline方式。
    在这里插入图片描述
hiveserver2方式

  • 创建日志目录：mkdir -p /opt/module/logs/,后台启动 hiveserver2 服务：nohup hive --service hiveserver2 > /opt/module/logs/hive3.1.3.log 2>&1 &

  • beeline 连接验证

beeline
!connect jdbc:hive2://localhost:10000 root 1234

在这里插入图片描述

总结

  • hive云数据存储数据库可以不用mysql，习惯用mysql，也可以简化安装用其他数据库。
羽落风起
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
1、内容概要：Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南（详细搭建步骤+实践过程问题总结）。 2、适合人群：大数据运维、大数据相关技术及组件初学者。 3、...
Hadoop单机搭建及问题解决
qq_32441717的博客
03-11 866
Hadoop单机搭建，及搭建过程中出现的问题
hadoop3 完全分布式安装
qq_34304427的博客
09-08 2294
创建一个脚本，用于同步不同服务器之间的文件，比如在 102 上修改完一些文件，借用下方脚本可以直接同步到 103 和 104。在 /etc/sudoers 文件内容的下图的位置添加如下内容，从而开启 sudo 权限并允许免密切换到 root。我们在执行上面脚本的时候，每次都需要输入密码，很是麻烦，这里我们可以通过配置 ssh 免密从而减少操作。我们检查集群是否启动成功，每次都需要到不同的服务器执行 jps 命令，很不方便。我们可以创建一个脚本，封装集群的启动和关闭，方便操作。
Hive 单机版
最新发布
Demo
04-29 259
安装 hadoop。
hive和hadoop版本对应关系
Knight
02-12 5309
hive和hadoop版本对应关系 http://hive.apache.org/downloads.html
大数据Hadoop之——部署hadoop+hive+Mysql环境（window11）
qq_41946216的博客
10-17 6086
win环境下大数据Hadoop的部署hadoop+hive环境
hive与mysql的安装与配置
大数据 小白学习录
11-22 963
hive与mysql的安装与配置 hive是基于hadoop的数据仓库工具，将一定格式的文件映射为一张张表，因此hive版本和hadoop版本有对应关系，一定要检查自己安装的hadoop和hive版本是否兼容； hadoop版本：2.9.1，hive版本：3.2.1，jdk：1.8.0_162，mysql：8.0.20，jdbc:8.0.20 在链接内自己可以查看hive，hadoop关系（http://hive.apache.org/downloads.html） ##查看hive版本：启动hive时会出
Hive学习——单机版Hive的安装
Helen_1997_1997的博客
02-16 2030
Hive学习——单机版Hive的安装
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
在构建大数据处理环境时，Hadoop、HBase、Spark和Hive是四个核心组件，它们协同工作以实现高效的数据存储、处理和分析。本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**：Hadoop是Apache...
win10下搭建Hadoop环境（jdk+mysql+hadoop+scala+hive+spark） 3.docx
09-17
win10下搭建Hadoop（jdk+mysql+hadoop+scala+hive+spark），包括jdk的安装、mysql安装和配置，hadoop安装和配置，scala安装和配置，hive安装和配置，spark安装和配置。
hadoop+hive+finebi笔记.rar
05-21
内容概要：让初学者能高效、快捷掌握Hadoop必备知识，大大缩短Hadoop离线阶段学习时间。 适合人群：具备一定编程基础人员 能学到什么： HDFS+MapReduce+Hive 基于数据仓库实现离线数据分析的可视化报表开发。 Hadoop...
Hadoop3+Hive3安装记录（虚拟机搭建分布式环境，报错解决）
小超人的博客
06-16 2419
说明：相关文章内容为本人学习记录，参考网络分享，如有侵权联系删除！仅供技术分享非商用！ Hadoop官方下载地址 Hive官方下载地址 概述 工具：VMware 14 目的：创建三个虚拟机，网络以桥接模式，三台虚拟机在同一网段，保证三台机器能够相互ping通。 流程步骤： ① 下载 CentOS7 ISO镜像使用VM创建第一个虚拟机； ② 通过 VM 克隆创建剩下两个虚拟机；...
hive与hadoop的版本对应问题
程序媛
02-09 8118
以hive-3.1.2为例，查看hive-3.1.2对应的Hadoop版本号的方式是： 下载apache-hive-3.1.2-src.tar.gz 链接：https://mirrors.bfsu.edu.cn/apache/hive/hive-3.1.2/ 解压后，查看apache-hive-3.1.2-src/pom.xml文件 部分内容如下(line 150: <hadoop.version>3.1.0</hadoop.version>) 即，hive-3.1.2对应的ha
在linux安装单机版hadoop-3.3.6
11-09 1131
进入etc/hadoop目录下，修改hadoop-env.sh文件。进入sbin目录下输入./start-all.sh。3.5、修改mapred-site.xml。3.4、修改 hdfs-site.xml。3.2、修改hadoop-env.sh。3.3、修改yarn-site.xml。3.6、修改core-site.xml。3.1、在hadoop目录下创建目录。三、修改hadoop对应的配置文件。2、配置hadoop环境变量。五、启动hadoop单机版。1、配置java环境变量。一、下载hadoop。
Hadoop单机运行环境搭建（基于Centos 7）
weixin_43520450的博客
04-08 729
一、关闭防火墙 （1）关闭防火墙：systemctl stop firewalld.service （2）禁用防火墙：systemctl disable firewalld.service （3）查看防火墙：systemctl status firewalld.service （4）关闭Selinux：vi /etc/selinux /config 将SELINUX=enforcing改为SEL...
单机环境下的Hadoop-Hive搭建详细步骤
zixiazzz的博客
09-05 306
hadoop-hive搭建，并且连接数据库
Hive 函数&hadoop版本的详细概述
qq_41810183的博客
01-13 404
UDF当 Hive 提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。TRANSFORM,andUDFandUDAFUDF：就是做一个mapper，对每一条输入数据，映射为一条输出数据。UDAF:就是一个reducer，把一组输入数据映射为一条(或多条)输出数据。一个脚本至于是做mapper还是做reducer，又或者是做udf还是做udaf，取决于我们把它放在什么样的hive操作符中。
hadoop电脑hive
05-11
Hadoop是一个开源的分布式计算框架，用于处理大规模数据的存储和处理。它可以将大规模数据分布在多个计算机节点上，并通过网络协调这些节点的计算和存储工作，从而实现分布式计算。Hive是基于Hadoop的一个数据仓库工具，它可以将结构化的数据映射到Hadoop上，并提供类似于SQL的查询语言，方便用户进行数据查询和分析。 在Hadoop集群上运行Hive，需要先安装Hadoop集群，并配置Hive的环境变量和配置文件。安装完毕后，可以使用Hive提供的命令行界面或者图形化界面（如Hue）来操作Hive。用户可以使用Hive SQL语句来创建表、加载数据、进行查询等操作，Hive会将这些操作转换成MapReduce作业，并在Hadoop集群上运行。 总之，Hadoop和Hive是两个不同的工具，但它们可以互相配合，实现大规模数据的存储和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值