linux系统下hadoop伪分布式安装,Linux[CentOS 7]下搭建hadoop伪分布式

最近闲来无事，又拿起了hadoop，在本地搭建了一个伪分布式，步骤有点多，特此记录一下

下面开始搞！

首先你得有jdk和hadoop的tar包，这个自行去下载哈，网上有很多(版本建议jdk1.8、hadoop建议2.x.)

我是把包放在了opt这个目录下

如图

我这里是新建了一个文件夹来进行存放，为了便于管理

mkdir jdk

mkdir hadoop

下面进行解压

tar -zxvf 文件路径 -C 解压路径

这里你是什么目录就按着上边来

解压好之后，记着路径，建议用截图工具截一张图贴在屏幕上

进入到profile进行配置

vim /etc/profile

进入后，先把光标移动到最下方，按小写i进入到插入模式

先配置Java的环境变量

export JAVA_HOME=/opt/jdk/jdk1.8.0_141

export PATH=$JAVA_HOME/bin:$PATH

接下来是hadoop的

export HADOOP_HOME=/opt/hadoop/hadoop

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

这里的路径就改成你自己的路径

配置完后如下图：

接下来执行

source /etc/profile

接着输入Java -version

如果没有出现这个，输入Java或者javac也没有出现东西的

那肯定就是你的环境变量配置错了，检查一下路径，改完后再次执行 source /etc/profile

下面是检验hadoop的

执行下图命令进入到文件夹内，首先来配置hadoop.env.sh

这里也可以一次性进入，上图只是为了演示

cd /opt/hadoop/hadoop/etc/hadoop

如下：

找到hadoop-env.sh

vim hadoop-env.sh

把这个路径改成jdk的目录

改完之后，接着改core-site.xml

vim core-site.xml

fs.defaultFS

hdfs://localhost:9000

hadoop.tmp.dir

/usr/local/hadoop/tmp

记得新建一下tmp文件夹，在hadoop目录的下面

命令是 mkdir

接着再修改名为hdfs-site.xml

vim hdfs-site.xml

dfs.replication

1

dfs.namenode.name.dir

/opt/hadoop/hadoop/tmp/dfs/name

dfs.datanode.data.dir

/opt/hadoop/hadoop/tmp/dfs/data

同样是记得添加文件夹

接着改mapred-site.xml

因为没有这个所以需要借用一个叫mapred-site.xml.template的文件夹

使用cp mapred-site.xml.template mapred-site.xml命令，这里就是把后面的template后缀删掉了

改完之后， vim mapred-site.xml

mapreduce.framework.name

yarn

接着把yarn-site.xml也一起改完了

vim yarn-site.xml

添加配置

yarn.nodemanager.aux-services

mapreduce_shuffle

改完之后按Esc   :wq保存，前面的修改完都是一样的

上面的配置全部完成之后

执行NameNode的格式化

hdfs namenode -format

执行开启命令

start-dfs.sh //启动

stop-dfs.sh //关闭

输入 jps

看看有没有这些，如果没有DataNode

在这感谢这位大佬提供的方案！

访问地址是你本机的ip和50070端口

完成后如下图

启动yarn

start-yarn.sh

在浏览器输入： ip:8088就可以进去了

启动yarn就是可以通过web端来查看运行情况

到这就搭好了，小弟写的比较简单粗略，欢迎大佬指正错误！

文章来源: blog.csdn.net，作者：Jack^Lee，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/qq_39968986/article/details/111629484