环境
我这里使用的是Ubuntu20.04(64位),hadoop-2.7.2,hive-2.3.6,spark2.0.0-hadoop2.7,jdk-8u162,jdbc-5.1.47。
应用安装配置
Hadoop安装配置
单机/伪分布式
-
前期准备:
sudo apt-get update
sudo apt-get install vim
sudo apt-get install net-tools
sudo apt-get install openssh-server
安装完成后,使用命令登录本机看下
ssh localhost
首次登录需要确认,输入yes后再输入密码即可。
输入exit退出ssh,进行免密登录配置
敲完ssh-keygen -t rsa
后,需要进行确认,敲三次回车即可。至此,前期准备结束
-
JAVA环境安装
手动安装
cd /usr/lib sudo mkdir jvm cd //转到jdk下载的位置 sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm
设置环境变量
cd ~ vim ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
保存后退出,执行以下命令,使修改立即生效
source ~/.bashrc
查看是否安装成功
java -version
返回如上图信息则表示安装成功 -
hadoop安装
sudo tar -xzvf ./hadoop-2.7.2.tar.gz -C /usr/local/ cd /usr/local sudo mv ./hadoop-2.7.2/ ./hadoop //重命名 sudo chown -R hadoop ./hadoop //将hadoop文件夹权限加给hadoop用户
安装好后查看是否成功
cd hadoop ./bin/hadoop version
出现如下图信息则表示安装成功
(hadoop安装默认是单机模式,至此单机配置完毕)-
伪分布配置
伪分布式主要是配置位于 /usr/local/hadoop/etc/hadoop中的core-site.xml和hdfs-site.xml文件
- core-site.xml文件配置
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
- hdfs-site.xml文件配置
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration>
配置完成后,执行NameNode格式化
cd /usr/local/hadoop ./bin/hdfs namenode -format
如果出现successfully formatted和exiting with status 0这两个关键信息则表示格式化成功!
接着启动NameNode和D
-