hadoop 单机单间_hadoop一小时搞定单机搭建

hadoop单机搭建

这几天准备开始学习hadoop，网上很多教程说的是用虚拟机搭建分布式、伪分布式hadoop集群，整了几天也没弄好。上次偶遇一位高人，指点迷津说你为啥不搭一个单机版的hadoop。遂茅塞顿开，一个小时不到就搞定了。

首先，由于hadoop是用java写的，所以在安装hadoop之前呢，需要先把jdk环境装好。

jdk的安装在此就不赘述了，无非就是先下载，解压，环境变量配置啥的~

hadoop安装

点击Download按钮去下载页面：

2.png

在这个页面，选择你喜欢的版本Binary download，反正我选的是2.9.2。

点击binary标签，进入下载地址页面：

3.png

复制这个地址，这是hadoop建议你下载的地址。

如果有防火墙啥的关一关，如果是云服务器的话需要配置安全组，开通两个端口：8088和50070.

下载：

使用wget下载就行了，在你喜欢的地方使用命令：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

解压：

tar -xvf hadoop-*.tar.gz

修改环境变量：

vim /etc/profile

以下是我的环境变量配置文件：

JAVA_HOME=/usr/java/jdk1.8.0_161

MAVEN_HOME=/usr/local/apache-maven-3.6.0

HADOOP_HOME=/my/hadoop/hadoop-2.9.2

HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$HADOOP_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME

export PATH

export CLASSPATH

路径需要按照你自己配置的路径去修改。

使环境变量生效：

source /etc/profile

新建一些文件夹供hadoop使用：

mkdir /root/hadoop

mkdir /root/hadoop/tmp

mkdir /root/hadoop/var

mkdir /root/hadoop/dfs

mkdir /root/hadoop/dfs/name

mkdir /root/hadoop/dfs/data

进入hadoop目录下：

cd /my/hadoop/hadoop-2.9.2/etc/hadoop/

修改core-site.xml

hadoop.tmp.dir

/root/hadoop/tmp

Abase for other temporary directories.

fs.default.name

hdfs://your ip:9000

* 修改 hadoop-env.sh

export JAVA_HOME=${JAVA_HOME}

修改为

export JAVA_HOME=/usr/java/jdk1.8.0_161

* 修改hdfs-site.xml

dfs.name.dir

/root/hadoop/dfs/name

Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.

dfs.data.dir

/root/hadoop/dfs/data

Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.

dfs.replication

2

dfs.permissions

false

need not permissions

* 修改mapred-site.xml

mapred.job.tracker

test1:9001

mapred.local.dir

/root/hadoop/var

mapreduce.framework.name

yarn

如果没有这个文件的话，把mapred-site.xml.template复制一份改个名字。

* 启动Hadoop

* 第一次启动需要初始化一下，在hadoop的`bin`目录下执行命令：

`./hadoop namenode -format`

* 启动命令：

`./start-dfs.sh`

在这之后会需要你多次输入密码，然后输入yes

* 启动YARN：

`./start-yarn.sh`

浏览器中输入地址：[http://your](http://your) ip:8088/cluster

至此单机版hadoop安装完成。