Linux/Ubuntu 安装与单机配置hadoop

1. 安装

最新版安装网站：https://hadoop.apache.org/releases.html
历史版本：http://archive.apache.org/dist/hadoop/core/
清华源：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

比如我要安装2.10.1版本，那么运行命令：

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz
tar -zxf hadoop-2.10.1.tar.gz
cd hadoop-2.10.1/

2. 配置

步骤一：配置JAVA_HOME

首先hadoop是需要先配置java的，可以通过java -version来看是否配置成功，请参考：https://blog.csdn.net/weixin_35757704/article/details/118930409

cd etc/hadoop/
echo $JAVA_HOME

输出的内容请复制下来，比如：/home/xq/apps/jdk1.8.0_291，然后修改文件：

vim hadoop-env.sh 

把export JAVA_HOME=${JAVA_HOME}改为export JAVA_HOME=/home/xq/apps/jdk1.8.0_291

步骤二：配置端口与文件格式

然后修改：

vim core-site.xml

添加相关配置：

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://ubuntu:8020</value>
    </property>
</configuration>

注意<value>hdfs://ubuntu:8020</value>里面的ubuntu是机器的名称，可以通过下面的命令来确认：

hostname

步骤三：配置HDFS文件目录

vi hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/xq/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.namenode.data.dir</name>
        <value>/home/xq/tmp/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

步骤四：配置mapred

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

配置如下：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

步骤五：配置yarn

然后配置yarn：

vim yarn-site.xml

修改配置为：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

步骤六：格式化

第一次使用hadoop的时候需要格式化！！，格式化的方法如下，如果不是第一次启动，请确保删除了上面配置的步骤三：配置HDFS文件目录中的dfs目录不存在，即/home/xq/tmp/目录下没有东西啦

cd ../..
ls

定位目录，此时显示的内容应该是：

LICENSE.txt  NOTICE.txt  README.txt  bin  etc  include  lib  libexec  sbin  share

然后格式化：

cd bin
./hadoop namenode -format

步骤七：启动hadoop

cd ../sbin/
./start-dfs.sh

没有配置无密码登录的话，会接收四次ssh，每次都选择yes，然后输入当前用户的密码就行，比如：

ECDSA key fingerprint is SHA256:kKJf9atHjxjE/PY12nOoVE7dIHzH3+0eO1RO2RnB8kI.
Are you sure you want to continue connecting (yes/no)? yes

等运行完成后，使用：

jps

可以看到启动了三个进程即可：

42947 Jps
31524 SecondaryNameNode
30197 DataNode
28631 NameNode

步骤八：打开hadoop测试页面

浏览器输入：http://ip地址:50070，这个ip是hadoop机器的ip地址，比如http://127.0.0.1:50070，看到有如下页面即证明hadoop配置成功：

3. 其他配置

把hadoop的命令添加进环境变量

首先找到hadoop的bin目录，比如：/home/xq/apps/hadoop-2.10.1/bin

如此使用：

vim ~/.profile

然后在最后面添加

export HADOOP_HOME=/home/xq/apps/hadoop-2.10.1
export PATH=$HADOOP_HOME/bin:$PATH
source ~/.profile
echo $HADOOP_HOME