hadoop3.1.3单机版安装

hadoop3.1.3单机安装

1. 安装jdk
   进入/usr/local/目录下，创建soft目录，之后作为hadoop的安装目录，在soft中新建Java目录，用于存放jdk（命令：mkdir java）
   将jdk进行解压： tar -zxvf ./jdk1.8.0_202.tar.gz
   修改文件：vim /etc/profile
   添加：export JAVA_HOME=/usr/java/jdk1.8.0_202
   用java -version进行验证

2. 安装SSH、配置SSH无密码登陆

ssh localhost
// 一直回车就行
exit
//退出刚才的 ssh localhost
cd ~/.ssh/
//若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa
//会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys
//加入授权

3. 下载hadoop

//方法一：
// 将下载好的hadoop的压缩包放入文件夹soft中，进行解压
tar -zxvf hadoop-3.1.1.tar.gz
//mv命令jinxin将hadoop-3.1.3的名字更改为hadoop
mv ./hadoop-3.1.3/ ./hadoop 
//成功后可以输入以下命令，来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：
cd /usr/local/hadoop
./bin/hadoop version

//方法二
cd /usr/local/soft
# 下载
wget http://apache.claz.org/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
## 解压
tar -zxvf hadoop-3.1.1.tar.gz -C /usr/local/soft

# mv命令jinxin将hadoop-3.1.3的名字更改为hadoop
mv hadoop-3.1.1 hadoop

Hadoop单机配置(非分布式)

Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。

cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input   
//将配置文件作为输入文件
 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/*  
//Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除。
rm -r ./output

运行结果

Hadoop伪分布式配置

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。

修改配置文件 core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改配置文件 hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

配置完成后，执行 NameNode 的格式化:

cd /usr/local/hadoop
./bin/hdfs namenode -format

接着开启 NameNode 和 DataNode 守护进程。

cd /usr/local/hadoop
./sbin/start-dfs.sh 

如果出现问题，请参考:

链接: https://blog.csdn.net/weixin_44077750/article/details/118567756?spm=1001.2014.3001.5501.

此教程不通，请参考：

链接: lhttp://dblab.xmu.edu.cn/blog/2441-2/.