伪分布式下hive配置并用beeline远程连接

最新推荐文章于 2022-08-10 21:49:35 发布

猫咪与狐狸

最新推荐文章于 2022-08-10 21:49:35 发布

阅读量713

点赞数

分类专栏：大数据 hadoop hive 文章标签：环境搭建大数据伪分布式hadoop

本文链接：https://blog.csdn.net/weixin_43532528/article/details/103083664

版权

本文详细介绍了如何在Ubuntu16.04上搭建伪分布式Hadoop环境，包括JDK、MySQL的安装，接着配置和启动Hadoop伪分布式，然后搭建Hive并配置与MySQL的连接，最后通过Beeline进行远程连接。步骤详尽，覆盖了从环境准备到验证成功的所有环节。

摘要由CSDN通过智能技术生成

搭建hive用的是hive3.2.1，hadoop3.2.1，所用的环境是操作系统 Linux Ubuntu16.04(64位)，需要的安装包jdk-8u211-linux-x64-tar.gz Hadoop-3.1.2.tar.gz apache-hive-3.1.2-bin.tar.gz)， mysql（5.7.27，系统里自带有MySQL的安装包，不用自己下载）
将jdk，hadoop，hive的安装包下载至/home目录里，并新建Java，hive，hadoop三个文件夹。

一．搭建jdk

1.解压

tar -xvf jdk-8u211-linux-x64.tar.gz：解压安装包
mv jdk1.8.0-211 /home/java(将其移到java目录下)
cd java(打开Java目录)
mv jdk.8.0_211 jdk1.8(改名)

2.配置文件

vim /etc/profile

source /etc/profile ：使得配置文件生效

3.java -version查看是否有版本信息出现

则表明Jdk搭建完成。

二．搭建MySQL

apt-get update 更新软件源；
apt-get install mysql-server 安装mysql（会创建MySQL的登录密码）
编辑配置文件：
vim /etc/mysql/mysql.conf.d/mysqld.cnf
注释掉 bind-address：127.0.0.1 （让MySQL能够被远程访问）
登录MySQL。进行MySQL授权操作：
grant all on*.* to root@’%’ identified by ‘数据库登录密码’ with grant option;（赋予MySQL能远程访问的权限）flush privileges（刷新权限）
退出MySQL，在重启MySQL ：service MySQL restart
查看mysql是否能够远程连接：使用sqlyog工具看是否能远程连接MySQL

连接成功，MySQL搭建完成。

三．搭建Hadoop伪分布式

修改主机名字：vim /etc/hostname （为后面编辑配置文件做准备）
添加网络映射：vim /etc/hosts（主机ip地址[私有]，主机名字）
关闭防火墙：ufw disable
启动ssh-server实现免密码登录：
1）/etc/init.d/ssh start：启动ssh
2）ps -ef|grep ssh：查看ssh启动与否

3)ssh-keygen -t rsa:进行了三次回车，直至生成rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys :导入authorized_keys(公钥)
ssh localhost:测试是否能免密登录
安装伪分布式模式：

解压hadoop安装包：tar -xvf hadoop-3.1.2.tar.gz
移至Hadoop目录并重命名： mv hadoop-3.1.2 /home/hadoop
cd hadoop
mv hadoop-3.1.2 hadoop3.1
创建目录
mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data
配置文件：
vim /etc/profile

source /etc/profile：使得配置文件生效
自此hadoop单机模式搭建完成
hadoop version:验证单机模式是否成功