VMware 单机安装 Centos 7 +HIVE

已于 2023-10-08 14:57:39 修改
阅读量1.1k 收藏 22
点赞数 13
文章标签： hive
于 2023-10-08 14:54:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/neolibo08/article/details/133682002
版权

VMware 单机安装 Centos 7 +HIVE

推荐系统：windows 10

教程所有密码均为123456

VMwaere 下载地址：https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html

Centos 7 系统镜像 下载地址：https://mirrors.tuna.tsinghua.edu.cn/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso

JDK 8的linux安装包 下载地址：https://www.oracle.com/

Hadoop 安装包 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

Xshell 下载地址：https://www.xshell.com/zh/free-for-home-school/

FileZilla Client 下载地址：https://www.filezilla.cn/download/client

Mysql 下载地址：https://downloads.mysql.com/archives/get/p/23/file/mysql-5.7.39-linux-glibc2.12-x86_64.tar.gz

hive 安装包:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

注意：实际安装的版本，和文件名以实际文件名为准，复制粘贴的话，需要注意文件名称

0 常见的linux命令操作

vi操作

i:进入编辑
:w 保存文件
:w! 若文件为只读，强制保存文件
:q 离开vi
:q! 不保存强制离开vi
:wq 保存后离开
:wq! 强制保存后离开

1.VMware 安装Centos 7

  • 打开VMware > 文件 > 新建虚拟机 > 典型 > 下一步 ；
  • 稍后安装操作系统 > 下一步 ；
  • Linux > Centos 7 64 位 > 下一步 ；
  • 虚拟机名称：自定义 > 位置：E:\自定义\自定义 > 下一步 ；
  • 最大磁盘大小：100GB > 将虚拟机存储为单个文件 > 下一步 ；
  • 自定义硬件 >
    1. 内存、内存、硬盘根据自身机器情况调整，内存最好不要超过本机的一半，硬盘最好100G
    2. CD/DVD：选择下载好的CentOS7镜像文件：CentOS-7-x86_64-DVD-2009.iso ；
    3. 网络：桥接模式。

系统安装:略

查看IP，可以使用图形界面，也可以使用命令

# 查看ip
ifconfig

远程测试

如果是win10系统，按 win + R 键，输入 cmd ，按回车，在打开的 cmd 命令行中，使用ssh命令远程登录Centos虚拟机：

ssh root@192.168.10.31
# 输入密码：123456

也可以使用 SecureCRT 、Xshell 等软件对 CentOS 虚拟机进行 ssh 连接。

2.Centos 安装 JDK 8

2.1上传JDK到Centos

FileZilla Client 进行上传到 /root/目录

2.2 安装

使用 ssh 客户端登录到 Linux。

# 进入存放安装包的 /root/ 目录
cd /root/
# 解压安装包
tar -zxvf jdk-8u341-linux-x64.tar.gz
# 创建安装目录
mkdir /usr/local/java/
# 查看解压出来的文件
ll
# 解压后的文件夹名为：jdk1.8.0_341
# 将加压好的JDK移动到安装目录
mv /root/jdk1.8.0_341/ /usr/local/java/
# 查看安装好的jdk
cd /usr/local/java/jdk1.8.0_341/
ll

2.3 配置环境变量

JDK的环境变量可以设置为全局变量，这样所有用户都可以直接使用java 等JDK命令，如果要设置全局变量，将环境变量配置添加到 /etc/profile 文件末尾；

也可以为具体某个用户设置环境变量，这样，只有这个用户可以直接使用java 等JDK命令，需要将环境变量配置添加到该用户家目录下的.bashrc 文件末尾，如/root/.bashrc。

这里选择设置为全局变量。

# 用vi命令打开全局配置文件/etc/profile
vi /etc/profile

在文件末尾添加以下环境变量配置：

export JAVA_HOME=/usr/local/java/jdk1.8.0_341
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

使配置文件生效

source /etc/profile

2.4 检查

java -version

都没有报错，并且能够看到java版本，就安装和配置环境变量成功了。

3 Centos 安装单机 Hadoop（HDFS）

3.1. 上传安装包、解压、放到安装位置

将安装包 hadoop-3.3.4.tar.gz 上传到 /root/ 目录。

# 进入到root目录
cd /root
# 解压
tar -zxvf hadoop-3.3.4.tar.gz
# 创建安装目录
mkdir /usr/local/hadoop
# 将解压后的hadoop挪到创建的安装目录
mv /root/hadoop-3.3.4/ /usr/local/hadoop/
# 进入到安装目录
cd /usr/local/hadoop/hadoop-3.3.4/
# 查看
ll

3.2. 修改 Hadoop 配置文件

这里做“单节点-伪分布式”配置，可以参考官网配置： https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/SingleCluster.html

3.2.1. 修改 core-site.xml
vi /usr/local/hadoop/hadoop-3.3.4/etc/hadoop/core-site.xml

添加以下 3 项：

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://127.0.0.1:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <!-- 自定义 hadoop 的工作目录 -->
                <value>/usr/local/hadoop/hadoop-3.3.4/tmp</value>
        </property>
        <property>
                <name>hadoop.native.lib</name>
                <!-- 禁用Hadoop的本地库 -->
                <value>false</value>
        </property>
3.2.2. 修改 hdfs-site.xml
vi /usr/local/hadoop/hadoop-3.3.4/etc/hadoop/hdfs-site.xml

添加以下 1 项：

   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
3.2.3. 修改 yarn-site.xml
  vi /usr/local/hadoop/hadoop-3.3.4/etc/hadoop/yarn-site.xml

添加以下 3 项：

       <property>
               <name>yarn.resourcemanager.hostname</name>
               <value>127.0.0.1</value>
       </property>
       <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <!-- yarn web 页面 -->
               <value>0.0.0.0:8088</value>
       </property>
       <property>
               <name>yarn.nodemanager.aux-services</name>
               <!-- reducer获取数据的方式 -->
               <value>mapreduce_shuffle</value>
       </property>
3.2.4. 修改 mapred-site.xml
  vi /usr/local/hadoop/hadoop-3.3.4/etc/hadoop/mapred-site.xml

添加以下 1 项：

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
3.2.5. 修改 hadoop-env.sh
vi /usr/local/hadoop/hadoop-3.3.4/etc/hadoop/hadoop-env.sh

在文件末尾添加：

# 将当前用户 root 赋给下面这些变量
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

# JDK 安装路径，参考 cat /etc/profile |grep JAVA_HOME
export JAVA_HOME=/usr/local/java/jdk1.8.0_341

# Hadop 安装路径下的 ./etc/hadoop 路径
export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-3.3.4/etc/hadoop

3.3. 配置 Hadoop 环境变量

# 编辑系统配置文件
vi /etc/profile

在末尾添加以下内容：

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

使环境变量生效：

# 运行配置文件
source /etc/profile
# 检查 PATH 中是否包含 $HADOOP_HOME/bin:$HADOOP_HOME/sbin 对应的目录
echo $PATH

3.4. 修改hosts文件，将当前主机名配进去

# 查看当前主机名
hostname
# 此处结果为 CentOS7-1
# 修改 hosts 文件，将当前主机名配到 127.0.0.1 后面
vi /etc/hosts
# ping 当前主机名进行检测
ping CentOS7-1

3.5. 配置本机 ssh 免密登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub &gt;&gt; ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

验证本机ssh到本机：

ssh root@127.0.0.1
# 不用输密码旧登录好了

3.6. 格式化 HDFS （首次启动前执行）

hdfs namenode -format

3.7. 启动 Hadoop

被执行的脚本是 /usr/local/hadoop/hadoop-3.3.4/sbin/start-all.sh，前面已经通过$HADOOP_HOME/sbin配置到环境变量中了，可以直接执行。

start-all.sh

3.8. 测试

  • 在 HDFS 上创建目录

    hadoop fs -mkdir /test_1/
# 查看
hadoop fs -ls /

  • 将本地文件上传到 HDFS

    # 新建文本文件
vi test_file_1.txt
# 向文本中写入字符串 123
echo 123 &gt;&gt; test_file_1.txt
# 将文本上传到 HDFS
hadoop fs -put test_file_1.txt /test_1/
# 查看文件
hadoop fs -ls /test_1/

  • 查看 HDFS 上的文本文件内容

    hadoop fs -cat /test_1/test_file_1.txt

  • 将 HDFS 上的文件下载到本地

    # 先删除本地的同名文件
rm -f test_file_1.txt
ll
# 将 HDFS 上的文件下载到本地
hadoop fs -get /test_1/test_file_1.txt

Hadoop Web 页面测试

# 防火墙放行 9870 tcp 端口
firewall-cmd --zone=public --add-port=9870/tcp --permanent
# 防火墙重新加载
firewall-cmd --reload

浏览器访问部署机器IP:9870：

http://192.168.10.31:9870

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Yarn Web 页面测试

# 防火墙放行 8088 tcp 端口
firewall-cmd --zone=public --add-port=8088/tcp --permanent
# 防火墙重新加载
firewall-cmd --reload

浏览器访问部署机器IP:8088：

http://192.168.10.31:8088

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

4 Centos 离线安装 MySQL

4.1. 创建 mysql 属组、用户、安装目录

为 MySQL 创建单独的属组、用户，把安装目录属主改为mysql。

在MySQL启动的时候，单进程mysqld，该进程的属主就是mysql，这样就保证了mysql服务的独立性。

即使mysql服务被黑掉，得到了mysql用户权限，也不会影响整个系统的安全。

# 创建新数组 mysql
groupadd mysql
# 创建用户 mysql ,指定属组为 mysql，禁止其登录
useradd -r -g mysql mysql -s /sbin/nologin
# 创建安装目录
mkdir /usr/local/mysql

4.2. 上传 MySQL 安装包、解压、放到安装位置

将安装包 mysql-5.7.39-linux-glibc2.12-x86_64.tar.gz 上传到 /root/ 目录。

# 进入到root目录
cd root
# 解压
tar -zxvf mysql-5.7.39-linux-glibc2.12-x86_64.tar.gz
# 将解压后的mysql文件挪到创建的安装目录
mv /root/mysql-5.7.39-linux-glibc2.12-x86_64/* /usr/local/mysql/

4.3. 配置 MySQL

创建所需目录

# 创建数据存储目录
mkdir /usr/local/mysql/data/
# 创建数据日志目录
mkdir /usr/local/mysql/log/
# 创建临时文件目录
mkdir /usr/local/mysql/tmp/
# 创建运行文件目录
mkdir /usr/local/mysql/run/
# 创建启动错误日志
touch /usr/local/mysql/log/mysqld_safe_error.log
# 创建默认的错误日志目的地
touch /usr/local/mysql/log/alert.log
# 创建慢查询日志文件
touch /usr/local/mysql/log/slow.log
# 创建通用查询日志文件的
touch /usr/local/mysql/log/general.log

编辑配置文件

vi /etc/my.cnf

将以下内容写入配置文件 /etc/my.cnf

# mysqld_safe脚本启动时读取的配置
[mysqld_safe]
# 存放 MySQL 后台程序 pid 的文件位置
pid-file=/usr/local/mysql/run/mysqld.pid
# 启动错误日志
log-error=/usr/local/mysql/log/mysqld_safe_error.log

# 本地 mysql 客户端程序的配置块
[mysql]
# 本地 mysql 客户端连接的端口
port=3306
# 本地 mysql 客户端命令行提示信息
prompt=\\u@\\d \\r:\\m:\\s>
# 本地 mysql 客户端字符集
default-character-set=utf8mb4
# 开启命令补全
no-auto-rehash

# 所有mysql客户端程序读取的配置块
[client]
# 连接端口
port=3306
# mysql的主机和客户机在同一host上的时候，使用unix domain socket做为通讯协议的载体文件
socket=/usr/local/mysql/run/mysql.sock

# mysql服务端程序mysqld、mysqld_safe和mysqld_multi的配置文件
[mysqld]
# 进程崩溃时生成core file dump文件，便于程序调试和问题排查
core-file
# 该参数指定了安装 MySQL 的安装路径（mysql安装目录），填写全路径可以解决相对路径所造成的问题。
basedir=/usr/local/mysql
# 该参数指定MySQL的数据文件的存放目录，数据库文件即我们常说的 MySQL data 文件。
datadir=/usr/local/mysql/data
# 临时目录
tmpdir=/usr/local/mysql/tmp
# 用于错误消息的区域设置。默认值是en_US。服务器将参数转换为语言名，并将其与lc_messages_dir的值结合，以生成错误消息文件的位置。
lc_messages=zh_CN
# 错误消息所在的目录。服务器使用该值和lc_messages的值来生成错误消息文件的位置。
lc_messages_dir=/usr/local/mysql/share
# 默认的错误日志目的地。如果目标是控制台，则值为stderr。否则，目标是一个文件，log_error值是文件名。
log-error=/usr/local/mysql/log/alert.log
# 慢查询日志文件名。默认值是host_name-slow.log，但可以通过slow_query_log_file选项更改初始值。
slow_query_log_file=/usr/local/mysql/log/slow.log
# 通用查询日志文件的名称。默认值是host_name.log，但初始值可以通过general_log_file选项更改。
general_log_file=/usr/local/mysql/log/general.log
# mysql的主机和客户机在同一host上的时候，使用unix domain socket做为通讯协议的载体文件
socket=/usr/local/mysql/run/mysql.sock
# 服务端字符集
character-set-server=utf8mb4
# 此变量控制写入错误日志的消息中的时间戳的时区，以及写入文件的一般查询日志和慢查询日志消息中的时间戳的时区。
log_timestamps=SYSTEM
# 操作系统中可用于mysqld的文件描述符的数量。
open_files_limit=61535
# 同时允许的最大客户端连接数。
max_connections=1000
# mysql_stmt_send_long_data() C API函数发送的一个包或任何生成/中间字符串的最大大小，或任何参数的最大大小。默认是64MB。
max_allowed_packet=1G
# 如果设置为0，表名将按指定的方式存储，并且比较区分大小写。如果设置为1，表名将以小写形式存储在磁盘上，比较不区分大小写。如果设置为2，则表名按给定值存储，但以小写进行比较。此选项也适用于数据库名称和表别名。
lower_case_table_names=1
# 慢查询日志是否开启。取值为0(或OFF)表示关闭日志，取值为1(或ON)表示打开日志。默认值取决于是否给出——slow_query_log选项。日志输出的目标由log_output系统变量控制;如果该值为NONE，则即使启用了日志，也不会写入任何日志项。
slow_query_log=1
# validate_password插件的加载方法
plugin-load-add=validate_password.so
# validate-password在服务器启动时使用该选项来控制插件的激活
validate-password=FORCE_PLUS_PERMANENT

4.4. 初始化数据库

# 将安装目录的所有权授予用户、属组 mysql:mysql
chown -R mysql:mysql /usr/local/mysql
# 初始化数据库
cd /usr/local/mysql
./bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/
# 再次将安装目录的所有权授予用户、属组 mysql:mysql
chown -R mysql:mysql /usr/local/mysql
# 将安装目录的 rwx 授予其所属用户mysql
chmod u+wrx -R /usr/local/mysql

接下来打印的日志中，localhost@root: 后面的内容，就是本机root用户的初始密码，需要记录下来。

如需重新初始化，需要清空 /usr/local/mysql/data 目录。

4.5. 配置开机自启

把启动脚本 mysql.server 放到开机初始化目录 /etc/init.d/ ，同时改名为 mysqld。

cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld

4.6. 启动mysql服务

# 启动mysql服务
service mysqld start

其他相关命令

# 停止mysql服务
service mysqld stop
# 重启mysql服务
service mysqld restart
# 查看mysql服务是否启动
service mysqld status

4.7. 登录MySQL进行初始化设置

  1. 登录MySQL

    # 进入MySQL安装目录
cd /usr/local/mysql/
# 登录MySQL
./bin/mysql -u root -p
# 密码是前面记录的初始密码
# 如果前面没有记下，可以使用下面命令查询mysql初始密码
# grep -e 'temporary' /usr/local/mysql/log/alert.log

  2. 设置root密码

    此处将root的密码设置为 123456 （按个人需求设置），将此处设置的新密码进行妥善记录。

    -- 设置密码验证安全级别
set global validate_password_policy=LOW; 
-- 设置密码验证最小长度
set global validate_password_length=6;
-- 设置密码为123456（根据自己的想法设置）
alter user root@localhost identified by '123456';

  3. 降低密码验证等级

    -- 查看密码验证规则
SHOW VARIABLES LIKE 'validate_password%';

  4. 设置允许远程访问

    -- 选择 mysql 库
use mysql;
-- 将 root 用户的可访问主机改为 %，即任何主机
update user set user.Host='%' where user.User='root';
-- 执行生效指令
flush privileges;
-- 退出登录
exit;

  5. 防火墙放行MySQL监听的端口

    # 防火墙放行 3306 tcp 端口
firewall-cmd --zone=public --add-port=3306/tcp --permanent
# 防火墙重新加载
firewall-cmd --reload

5 Centos 单机安装 Hive

5.1. 上传 Hive 安装包、解压、放到安装位置

将安装包 apache-hive-3.1.3-bin.tar.gz 上传到 /root/ 目录。

# 进入到root目录
cd /root
# 解压
tar -zxvf apache-hive-3.1.3-bin.tar.gz
# 创建安装目录
mkdir /usr/local/hive
# 将解压后的hive挪到创建的安装目录
mv /root/apache-hive-3.1.3-bin/ /usr/local/hive/
# 进入到安装目录
cd /usr/local/hive/apache-hive-3.1.3-bin/
# 查看
ll

5.2. 配置 hive

  1. hive-site.xml

    在 hive 安装目录的 conf 目录下，创建 hive-site.xml 配置文件。并将以下内容写入其中。

    vi /usr/local/hive/apache-hive-3.1.3-bin/conf/hive-site.xml

    <configuration>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <!--hive 元数据库的JDBC驱动类，这里选则 MySQL-->
        <value>com.mysql.cj.jdbc.Driver</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <!--hive_metadata 为 hive 元数据在 MySQL 中的库名，注意字符集设置，由于是在XML中，URL中的&需要转译为&-->
        <value>jdbc:mysql://127.0.0.1:3306/hive_metadata?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <!--MySQL登录账户名-->
        <value>root</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <!--MySQL登录密码-->
        <value>123456</value>
    </property>

    <property>
        <!--hive 表数据在 HDFS 的默认位置。创建内部表时，如果不指定 location，表数据则存储与该位置。-->
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse/internal</value>
    </property>

    <property>
        <!--hive 外部表数据在 HDFS 的默认位置。创建外部表时，如果不指定 location，表数据则存储与该位置。-->
        <name>hive.metastore.warehouse.external.dir</name>
        <value>/user/hive/warehouse/external</value>
    </property>

    <property>
        <name>hive.server2.enable.doAs</name>
        <value>false</value>
    </property>

</configuration>

  2. hive-env.sh

    将 hive 安装目录的 conf 目录下的 hive-env.sh.template 复制一份改名为 hive-env.sh 。

    cp /usr/local/hive/apache-hive-3.1.3-bin/conf/hive-env.sh.template /usr/local/hive/apache-hive-3.1.3-bin/conf/hive-env.sh

    对 ive-env.sh 进行修改，将 HADOOP_HOME 的注释放开，其值改为本机 Hadoop 的安装目录 /usr/local/hadoop/hadoop-3.3.4 。即：

    vi /usr/local/hive/apache-hive-3.1.3-bin/conf/hive-env.sh

    HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.4

5.3. 放置 MySQL jdbc jar包

Maven 中央仓库下载地址：

https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.30/mysql-connector-java-8.0.30.jar

将 mysql-connector-java-8.0.30.jar 上传到 /usr/local/hive/apache-hive-3.1.3-bin/lib 下。

5.4. 设置环境变量

vi /etc/profile

在文件末尾添加以下内容：

export HIVE_HOME=/usr/local/hive/apache-hive-3.1.3-bin
export PATH=$HIVE_HOME/bin:$PATH

使环境变量生效：

# 运行配置文件
source /etc/profile
# 检查 PATH 中是否包含 $HIVE_HOME/bin 对应的绝对路径
echo $PATH

5.5. 初始化元数据库

初始化元数据库，指定元数据库类型为 MySQL 。

# 查看MySQL是否启动
service mysqld status
# 如果没有启动，则启动MySQL
service mysqld start
schematool -initSchema -dbType mysql

注：schematool 命令位于 /usr/local/hive/apache-hive-3.1.3-bin/bin/ ，已经配置在环境变量path中，可以直接使用。

5.6. 启动 Hadoop

Hive 是依赖 MySQL 和 Hadoop 的，所以，先启动 MySQL、Hadoop。

# 查看Hadoop是否启动
jps -l |grep hadoop
# 如果没有启动，则启动Hadoop
start-all.sh

5.7. 编写后台启动hive的脚本

三种用户接口的前台启动方式分别如下：

# Client，JDBC/ODBC + hive Server
hive --service metastore
hive --service hiveserver2
# CLI，命令行 + hive 副本
hive --service cli
# 浏览器，WUI 
hive --service hwi

此处选择第一种，同时启动 metastore。编写后台启动脚本：

vi /usr/local/hive/apache-hive-3.1.3-bin/bin/start-hive-metastore-hiveserver2.sh

写入以下内容：

#!/bin/bash
nohup hive --service metastore >> /usr/local/hive/apache-hive-3.1.3-bin/log/metastore.log 2>&1 &
nohup hive --service hiveserver2 >> /usr/local/hive/apache-hive-3.1.3-bin/log/hiveserver2.log 2>&1 &
# 赋予启动脚本执行权限
chmod +x /usr/local/hive/apache-hive-3.1.3-bin/bin/start-hive-metastore-hiveserver2.sh
# 创建日志目录：
mkdir /usr/local/hive/apache-hive-3.1.3-bin/log

5.8. 启动hive

start-hive-metastore-hiveserver2.sh

查看两个日志，无报错即可：

tail -1000f /usr/local/hive/apache-hive-3.1.3-bin/log/metastore.log
tail -1000f /usr/local/hive/apache-hive-3.1.3-bin/log/hiveserver2.log

5.9. 放行端口

# 防火墙放行 8042 tcp 端口，Hadoop http服务端口，可用于在浏览器查看yarn日志
firewall-cmd --zone=public --add-port=8042/tcp --permanent
# 防火墙放行 10000 tcp 端口，hive jdbc连接端口
firewall-cmd --zone=public --add-port=10000/tcp --permanent
# 防火墙重新加载
firewall-cmd --reload

5.10. yarn-site.xml 添加 Hadoop 的类路径

查看 Hadoop 的类路径

hadoop classpath

编辑 Hadoop 的 yarn-site.xml 文件

vi /usr/local/hadoop/hadoop-3.3.4/etc/hadoop/yarn-site.xml

添加以下配置项：

    <property>
        <name>yarn.application.classpath</name>
        <!-- 输入刚才返回的Hadoop classpath路径 -->
        <value>/usr/local/hadoop/hadoop-3.3.4/etc/hadoop:/usr/local/hadoop/hadoop-3.3.4/share/hadoop/common/lib/*:/usr/local/hadoop/hadoop-3.3.4/share/hadoop/common/*:/usr/local/hadoop/hadoop-3.3.4/share/hadoop/hdfs:/usr/local/hadoop/hadoop-3.3.4/share/hadoop/hdfs/lib/*:/usr/local/hadoop/hadoop-3.3.4/share/hadoop/hdfs/*:/usr/local/hadoop/hadoop-3.3.4/share/hadoop/mapreduce/*:/usr/local/hadoop/hadoop-3.3.4/share/hadoop/yarn:/usr/local/hadoop/hadoop-3.3.4/share/hadoop/yarn/lib/*:/usr/local/hadoop/hadoop-3.3.4/share/hadoop/yarn/*</value>
    </property>

重启 Hadoop 。

stop-all.sh
start-all.sh
neolibo08
关注
Centos Linux 单机安装 Hive 、使用 Hive
寒水馨
11-21 2341
Centos Linux 单机安装 Hive 、使用 Hive、beeline 连接 hive、DBeaver 连接 hive、数据仓库、hive
基于centos7搭建haoop与hive
congge_study的博客
01-12 7507
centos7搭建hadoop
CentOs7下Hive的安装配置(单机版)
qq_47947471的博客
09-11 514
1.首先需要准备有jdk和hadoop环境配置完成的CentOs虚拟机 2.解压文件(hive-1.1.0-cdh5.14.2.tar.gz压缩包) # tar -zxf hive-1.1.0-cdh5.14.2.tar.gz 3.建立hive软链接到指定文件夹下 #mv hive-1.1.0-cdh5.14.2 /opt/soft/hive110 4.环境配置和搭建 (1)进入/opt/soft/hive110/conf目录下 ...
【Hive】Centos7安装单机版Hive
zhouwhui 的博客
07-21 701
在centos7中安装hive，单机版安装，包含安装mysql在内
centos下安装hive（单机版）
weixin_46620665的博客
02-07 1860
说明 1、hive以来与hadoop，所以要服务器上要有hadoop才能安装hive 2、hive需要依赖与mysql，所以需要现有MySQL服务才能安装hive 安装 下载地址 http://archive.apache.org/dist/hive/ 解压 tar -zxvf /opt/software/apache-hive-3.1.2bin.tar.gz -C /opt/module/ 修改环境变量 # 新增文件 vim /etc/profile.d/my_env.sh # 新增内容 #HI
CentOS7 安装hive
CSDN1csdn1的博客
05-17 357
因为Hive的运行依赖于Hadoop（HDFS，MapReduce，YARN都依赖），同时涉及到HDFS文件系统的访问，所以需要配置Hadoop的代理用户，即设置Hadoop用户允许代理其他用户。MySQL8.0.13 链接：https://pan.baidu.com/s/1JLzMDkF5Mxco9VLzXy-aQg 提取码: sql8。MySQL驱动jar包 链接：https://pan.baidu.com/s/1Nu1Q-5KyOv6I-d-kqyj_oA 提取码: jar8。
CentOS搭建Hive(一) 搭建Hadoop(单机版)
Java Spring Elasticsearch
02-18 1218
搭建Hadoop单机版1. 安装Java2. 解压Hadoop3. 修改Hadoop配置3.1 hadoop-env.sh3.2 core-site.xml3.3 hdfs-site.xml4. 启动HDFS5. 配置yarn模式5.1 mapred-site.xml5.2 yarn-site.xml5.3 启动yarn 1. 安装Java 将Java包解压到/usr/lib下,并重命名为jkd1...
hadoop、hive安装
qq_44574193的博客
10-17 1878
hive、hadoop安装
最详细的Hadoop+Hbase+Hive完全分布式环境搭建教程（一）
热门推荐
超级码力
11-12 1万+
一、准备工作 1. 预备安装包 (我将需要的包全部放到百度盘里了，可以一次搞定，这个链接只管7天，评论留下邮箱私戳)： 链接: https://pan.baidu.com/s/15dZ9DLPln0uf0K5iVMS9pQ 提取码: tdfb hadoop-2.8.5.tar.gz、hbase-2.1.1-bin.tar.gz、apache-hive-2.3.4-bin.tar.gz、jdk-8u...
CentOS7下安装虚拟机(VMware Workstation单机版)----超详细
qq_47947471的博客
07-24 1185
本版本使用的是VMware Workstation版本 1.创建一个虚拟机 (1)选择+创建一个新的虚拟机 (2)自定义高级->下一步 (3)选择硬件兼容性版本:Workstation14.x->下一步 (4)安装程序光盘映像文件 -> 选择你安装的CentOs驱动路径 ->下一步 (5)编辑你的虚拟机名称和安装路径->下一步 (6)编辑处理器数量跟每个处理器的内核数量(与你电脑的cpu有关,内核总数不得大于你电脑的cpu核数,例如 我的电脑是4核) (7
HDP3.1.5.0+Ambari2.7.5安装部署（Centos7.2）
小强签名设计 的博客
08-22 6742
Centos7.2下载地址：http://archive.kernel.org/centos-vault/7.2.1511/isos/x86_64/CentOS-7-x86_64-DVD-1511.isoCentos7.2安装教程：http://1130739.blog.51cto.com/1120739/1738791附：CentOS官网历史发行版本下载地址：http://archive.ker...
hadoop环境部署全套组件，下载后直接可用（虚拟机全套）
12-29
Hadoop部署平台全套组件，包含hdfs，hive，hbase，sqoop，mysql，flume等，包含大数据处理的全部组件功能！ 现成虚拟机，安装好的镜像，下载直接可运行！！！
centos7系统安装MySQL、hive以及常见报错及解决方案
房东的猫的博客
03-29 1534
压缩包以附。
Hive单机版安装部署
不会心跳的博客
06-05 1272
在根目录下建立software文件夹：mkdir software。进入/software/hadoop/etc/hadoop文件夹。保存退出，使文件生效：source /etc/profile。保存退出，生效：source /etc/profile。进入配置文件夹：/software/hive/conf。打开配置文件：vi /etc/profile。打开配置文件：vi /etc/profile。文件夹改名：mv 源文件夹名 目标文件夹名。输入show databases;
Hive3：Centos7环境部署Hive服务
最新发布
Brave_heart4pzj的博客
07-26 992
Hive
Hadoop学习中VMWare的网路配置
阿达King哥的博客
03-28 2480
Hadoop学习中VMWare的网路配置 1 背景 为了学习Hadoop，则在自己的机器上模拟构建一个集群环境 2 VMWare网络配置步骤 首先在VMWare中新建一个网络适配器 在VMWare中“编辑”–>“虚拟网络编辑器”–>“添加网络” 设置网络 设置NAT 在Windows的网络连接中设置 右键设置IPV4 这里表示是Windows的IP，也就是Windows自己有了2个IP，一个是路由器DHCP分配的，一个是自己设置的 网络连接的结构是这样的 3 VMWare中的Cen
hive 虚拟机安装Hadoop和hive
程志伟的博客
06-09 1573
关注微信公共号：小程在线 关注CSDN博客：程志伟的博客 我在本机上已全部实现，下面是在我自己电脑上的截图 1.虚拟机镜像下载： 要是自己安装linux后再搭建环境可是相当麻烦的，所以我们要找别人已经配好的虚拟机。功夫不负有心人，找了很多资源之后终于找到了好用且免费的虚拟机镜像。 【镜像下载地址】https://pan.baidu.com/s/1kUWaNWz#list/path=%2F（需要安装百度云盘客户端，文件大小是6GB） 【镜像说明】 此镜像是使用VirtualBox虚拟..
大数据平台入门--hive安装（虚拟机安装单机版本）
馒 的技术空间
07-20 5348
所有版本的下载地址：http://archive.apache.org/dist/hive/ 网上太多版本，但是只是为了学习，本机虚拟机上安装一下试用，很多帖子里的配置是多台服务器的配置，因些整理了一个虚拟机本机版本的安装步骤。 关于hive的一些概念，特别有一些配置文件里的内容，建议看一下书后再去看帖子，会容易得多（我看的是hadoop权威指南里面的hive部分） hadoop的安装，请参...
Hive 3.1.2 国内镜像下载地址
Axel_Fran的博客
01-03 5642
快速，快速 Index of /apache/hive/hive-3.1.2
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值