ECS搭建Hadoop环境
@[TOC]安装步骤
安装JDK
下载jdk安装包
wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
解压
tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
将JDK安装包移动到usr目录下并重命名为Java8
mv java-se-8u41-ri/ /usr/java8
配置Java环境变量
echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile
echo ‘export JAVA_HOME=/usr/java8’ >> /etc/profile
输入之后报错bash: /etc/profile: Permission denied
原因:
profile文件不可写
解决方法:
sudo chmod 777 /etc/profile
查看Java版本
java -version
安装Hadoop
下载Hadoop安装包
wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz
解压压缩包并移动到opt/hadoop目录下
tar -zxvf hadoop-2.10.1.tar.gz -C /opt/
mv /opt/hadoop-2.10.1 /opt/hadoop
配置环境变量,修改Hadoop配置文件yarn-env.sh和hadoop-env.sh。
echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh
执行hadoop version,成功返回版本信息即安装成功。
配置Hadoop
修改core-site.xml
vim /opt/hadoop/etc/hadoop/core-site.xml
进入编辑模式,插入以下内容
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/hadoop/tmp</value>
<description>location to store temporary files</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
保存并退出
修改hdfs-site.xml
vim /opt/hadoop/etc/hadoop/hdfs-site.xml
插入
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/hadoop/tmp/dfs/data</value>
</property>
配置ssh免密登录
因为之前一直使用普通用户,先切换为root
sudo su
ssh-keygen -t rsa
将公钥添加到authorized_keys文件中
cd .ssh
cat id_rsa.pub >> authorized_keys
启动Hadoop
初始化namenode
hadoop namonode -format
启动Hadoop
start-dfs.sh
start-yarn.sh
8088端口
50070端口