2024年大数据最新大数据Hive（介绍+安装+使用），2024年最新那些进了大厂的程序员面试前都做了哪些准备

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

[root@hadoop1 ~]# mkdir /usr/local/mysql/run/

创建启动错误日志

[root@hadoop1 ~]# touch /usr/local/mysql/log/mysqld_safe_error.log

创建默认的错误日志目的地

[root@hadoop1 ~]# touch /usr/local/mysql/log/alert.log

创建慢查询日志文件

[root@hadoop1 ~]# touch /usr/local/mysql/log/slow.log

创建通用查询日志文件的

[root@hadoop1 ~]# touch /usr/local/mysql/log/general.log

 编辑my.cnf配置文件，将以下内容写入配置文件 /etc/my.cnf

mysqld_safe脚本启动时读取的配置

[mysqld_safe]

存放 MySQL 后台程序 pid 的文件位置

pid-file=/usr/local/mysql/run/mysqld.pid

启动错误日志

log-error=/usr/local/mysql/log/mysqld_safe_error.log

本地 mysql 客户端程序的配置块

[mysql]

本地 mysql 客户端连接的端口

port=3306

本地 mysql 客户端命令行提示信息

prompt=\u@\d \r:\m:\s>

本地 mysql 客户端字符集

default-character-set=utf8mb4

开启命令补全

no-auto-rehash

所有mysql客户端程序读取的配置块

[client]

连接端口

port=3306

mysql的主机和客户机在同一host上的时候，使用unix domain socket做为通讯协议的载体文件

socket=/usr/local/mysql/run/mysql.sock

mysql服务端程序mysqld、mysqld_safe和mysqld_multi的配置文件

[mysqld]

进程崩溃时生成core file dump文件，便于程序调试和问题排查

core-file

该参数指定了安装 MySQL 的安装路径（mysql安装目录），填写全路径可以解决相对路径所造成的问题。

basedir=/usr/local/mysql

该参数指定MySQL的数据文件的存放目录，数据库文件即我们常说的 MySQL data 文件。

datadir=/usr/local/mysql/data

临时目录

tmpdir=/usr/local/mysql/tmp

用于错误消息的区域设置。默认值是en_US。服务器将参数转换为语言名，并将其与lc_messages_dir的值结合，以生成错误消息文件的位置。

lc_messages=zh_CN

错误消息所在的目录。服务器使用该值和lc_messages的值来生成错误消息文件的位置。

lc_messages_dir=/usr/local/mysql/share

默认的错误日志目的地。如果目标是控制台，则值为stderr。否则，目标是一个文件，log_error值是文件名。

log-error=/usr/local/mysql/log/alert.log

慢查询日志文件名。默认值是host_name-slow.log，但可以通过slow_query_log_file选项更改初始值。

slow_query_log_file=/usr/local/mysql/log/slow.log

通用查询日志文件的名称。默认值是host_name.log，但初始值可以通过general_log_file选项更改。

general_log_file=/usr/local/mysql/log/general.log

mysql的主机和客户机在同一host上的时候，使用unix domain socket做为通讯协议的载体文件

socket=/usr/local/mysql/run/mysql.sock

服务端字符集

character-set-server=utf8mb4

此变量控制写入错误日志的消息中的时间戳的时区，以及写入文件的一般查询日志和慢查询日志消息中的时间戳的时区。

log_timestamps=SYSTEM

操作系统中可用于mysqld的文件描述符的数量。

open_files_limit=61535

同时允许的最大客户端连接数。

max_connections=1000

mysql_stmt_send_long_data() C API函数发送的一个包或任何生成/中间字符串的最大大小，或任何参数的最大大小。默认是64MB。

max_allowed_packet=1G

如果设置为0，表名将按指定的方式存储，并且比较区分大小写。如果设置为1，表名将以小写形式存储在磁盘上，比较不区分大小写。如果设置为2，则表名按给定值存储，但以小写进行比较。此选项也适用于数据库名称和表别名。

lower_case_table_names=1

慢查询日志是否开启。取值为0(或OFF)表示关闭日志，取值为1(或ON)表示打开日志。默认值取决于是否给出——slow_query_log选项。日志输出的目标由log_output系统变量控制;如果该值为NONE，则即使启用了日志，也不会写入任何日志项。

slow_query_log=1

validate_password插件的加载方法

plugin-load-add=validate_password.so

validate-password在服务器启动时使用该选项来控制插件的激活

validate-password=FORCE_PLUS_PERMANENT

 初始化后需记住localhost@root: 后面的内容，就是本机root用户的初始密码，需要记录下来。

将安装目录的所有权授予用户、属组 mysql:mysql

[root@hadoop1 ~]# chown -R mysql:mysql /usr/local/mysql

初始化数据库

[root@hadoop1 ~]# cd /usr/local/mysql
[root@hadoop1 mysql]# ./bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/

再次将安装目录的所有权授予用户、属组 mysql:mysql

[root@hadoop1 mysql]# chown -R mysql:mysql /usr/local/mysql

将安装目录的 rwx 授予其所属用户mysql

[root@hadoop1 mysql]# chmod u+wrx -R /usr/local/mysql

 如果忘记看了，则查看文件/usr/local/mysql/log/alert.log中


![](https://img-blog.csdnimg.cn/direct/ee5123443447443ab111508fc3f2f3c7.png)



启动mysql服务

启动mysql服务

service mysqld start

停止mysql服务

service mysqld stop

重启mysql服务

service mysqld restart

查看mysql服务是否启动

service mysqld status

登录mysql

登录Mysql

mysql -h[ip地址] -u[用户名] -p

mysql -uroot -p

密码是前面记录的初始密码

设置密码

– 设置密码验证安全级别
set global validate_password_policy=LOW;
– 设置密码验证最小长度
set global validate_password_length=6;
– 设置密码为123456（根据自己的想法设置）
alter user root@localhost identified by ‘123456’;

## Hive的部署


        因为hive本身是一个单机的工具，所以只要在一台机器上部署就行了。


        **1.配置hadoop，让hive代理hadoop，打开hadoop/etc/hadoop/core-site.xml。配置完成后通过scp命令分发给另外两台机器。**

#在中加上以下代码

<property>
	<name>hadoop.proxyuser.hadoop.hosts</name>
	<value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.hadoop.groups</name>
	<value>*</value>
</property>

        **2.下载并解压Hive**


        下载连接，[apache-hive-3.1.3-bin.tar.gz]( )


        下载完成后上传到Linux服务器中，并用tar -zxvf命令解压

tar -zxvf apache-hive-3.1.3-bin.tar.gz

#改名为hive

mv apache-hive-3.1.3-bin hive

        **3.下载mysql驱动包放入hive/lib目录下**


        [下载地址]( )，下载完成后解压，只上传mysql-connector-j-8.3.0.jar即可。


![](https://img-blog.csdnimg.cn/direct/cd159af8ce2448b19a31c1e39369d06f.png)



        **4.在Hive的conf目录内，将hive-env.sh.template文件复制并重命名为hive-env.sh文件，填入以下环境变量内容**

#复制
cp hive-env.sh.template hive-env.sh

#加入以下内容
export HADOOP_HOME=/data/root/env/environment/hadoop
export HIVE_CONF_DIR=/data/root/env/environment/hive/conf
export HIVE_AUX_JARS_PATH=/data/root/env/environment/hive/lib

        **5.在Hive的conf目录内，将hive-default.xml.template文件复制并重命名为hive-site.xml文件,然后在<configuration></configuration>中增加连接数据库的配置**

cp hive-default.xml.template hive-site.xml

javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?characterEncoding=UTF-8 javax.jdo.option.ConnectionDriverName com.mysql.cj.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword 123456

#javax.jdo.option.ConnectionURL：元数据连接的数据库地址
#javax.jdo.option.ConnectionDriverName：元数据所用数据库的驱动
#javax.jdo.option.ConnectionUserName：元数据登录用户
#javax.jdo.option.ConnectionPassword：元数据登录密码

        **6.进入mysql，创建hive数据库 ,授予权限给用户root**

CREATE DATABASE hive;

grant all on . to ‘root’@‘%’;

        **7.初始化Hive，在hive/bin目录下执行以下命令**

./schematool -initSchema -dbType mysql

         报错![](https://img-blog.csdnimg.cn/direct/dba06f4b33a047f1b21e2e75a64d58ff.png)


         解决办法：进入hive-site.xml文件中的第3215行，删除第97列的符号“&#8”


![](https://img-blog.csdnimg.cn/direct/2009f35069214b2ab5fae7a7d7c8730a.png)


        初始化完成可以到mysql中查看hive数据库，发现数据库已经有了74个表


        ![](https://img-blog.csdnimg.cn/direct/487e03f3054648cd9b340f4fe9fb06d2.png)


        进入/etc/profile文件，添加hive变量


        ![](https://img-blog.csdnimg.cn/direct/57bd43e4598b431a97e993bd564b4779.png)


        添加完成后**使用source /etc/profile生效环境变量**


        


        **8.启动hvie**


        在hive目录下创建一个logs文件夹用来保持日志,创建temp文件夹

mkdir logs
mkdir temp

       替换/hive/conf/hive-site.xml文件夹中的${system:java.io.tmpdir}，用temp的绝对路径替换。


两个都要改。


        ![](https://img-blog.csdnimg.cn/direct/16d510d656d6480c8542db9fe1b989df.png)


        启动元数据管理服务（如果metastore启动报错JAVA拒绝连接是因为没有打开Mysql服务）

#二选一即可
#后台执行方法
nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

#前台执行方法
hive --service metastore

        通过jps可以查看到Runjar就是metastore进程


![img](https://img-blog.csdnimg.cn/img_convert/1a372536e58557be9657a7c1c1348b4b.png)
![img](https://img-blog.csdnimg.cn/img_convert/72952c2c12f452f84b357a523e415aec.png)
![img](https://img-blog.csdnimg.cn/img_convert/cc039019386c5a4c0494b354c8c5a481.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

r就是metastore进程


[外链图片转存中...(img-V8Ju3HWD-1714885665293)]
[外链图片转存中...(img-wFq2FYEY-1714885665294)]
[外链图片转存中...(img-SP0HZlDB-1714885665294)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**