Ubuntu20.04安装Hadoop和Hive
一、安装Mysql
在安装hive时需要安装mysql,并设置权限,(把包放在系统目录下,如/usr或/opt此类目录下,需要使用chmod命令修改权限,否则很有可能出现权限不足无法执行的情况)
没有安装的可以参考Ubuntu20.04安装Mysql
二、安装Hadoop
1.1创建Hadoop用户(如果需要将本机的账户与Hadoop分开,可以新建一个新用户)
sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell
sudo passwd hadoop #为hadoop用户设置密码
sudo adduser hadoop sudo #为hadoop用户增加管理员权限
su - hadoop #切换当前用户为用户hadoop
sudo apt-get update #更新hadoop用户
2.1安装SSH
sudo apt-get install openssh-server #安装SSH server
ssh localhost #登陆SSH,第一次登陆输入yes
exit #退出登录的ssh localhost
cd ~/.ssh/ #如果没法进入该目录,执行一次ssh localhost
ssh-keygen -t rsa
在输入完 $ ssh-keygen -t rsa 命令时,需要连续敲击回车三次
其中,第一次回车是让KEY存于默认位置,以方便后续的命令输入。第二次和第三次是确定passphrase,相关性不大。两次回车输入完毕以后,如果出现类似于下图所示的输出,即成功:
图片描述
之后输入
cd .ssh
#创建authorized_keys文件并修改权限为600
touch authorized_keys
chmod 600 authorized_keys
cat ./id_rsa.pub >> ./authorized_keys #加入授权
ssh localhost #此时已不需密码即可登录localhost,并可见下图。如果失败则可以搜索SSH免密码登录来寻求答案
2.2安装JDK1.8.0_251
首先在oracle官网下载JDK1.8.0_251
https://www.oracle.com/java/technologies/javase-downloads.html
选择1.8.不要用14版本要不然会出现版本不兼容的错误
mkdir /usr/lib/jvm #创建jvm文件夹
sudo tar zxvf 你的jdk文件名 -C /usr/lib/jvm #/解压到/usr/lib/jvm目录下
cd /usr/lib/jvm #进入该目录
mv jdk1.8.0_251 java #重命名为java
vi ~/.bashrc #给JDK配置环境变量
其中如果权限不够,无法在相关目录下创建jvm文件夹,那么可以使用 $ sudo -i 语句进入root账户来创建文件夹。
vim ~/.bashrc
若没有vim可以用gedit代替或使用sudo apt安装vim
在 ~/.bashrc 文件中添加如下代码
#Java Environment
export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
修改完成后,使用如下命令
source ~/.bashrc #使新配置的环境变量生效
java -version #检测是否安装成功,查看java版本
3.1下载Hadoop-3.2.1
https://archive.apache.org/dist/hadoop/common/
切换到下载文件的位置/Downloads,找到下载的文件进行安装
sudo tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local #解压到/usr/local目录下
cd /usr/local
#sudo mv hadoop-3.2.1 hado