最近闲来无事,又拿起了hadoop,在本地搭建了一个伪分布式,步骤有点多,特此记录一下
下面开始搞!
首先你得有jdk和hadoop的tar包,这个自行去下载哈,网上有很多(版本建议jdk1.8、hadoop建议2.x.)
我是把包放在了opt这个目录下
如图
我这里是新建了一个文件夹来进行存放,为了便于管理
mkdir jdk
mkdir hadoop
下面进行解压
tar -zxvf 文件路径 -C 解压路径
这里你是什么目录就按着上边来
解压好之后,记着路径,建议用截图工具截一张图贴在屏幕上
进入到profile进行配置
vim /etc/profile
进入后,先把光标移动到最下方,按小写i进入到插入模式
先配置Java的环境变量
export JAVA_HOME=/opt/jdk/jdk1.8.0_141
export PATH=$JAVA_HOME/bin:$PATH
接下来是hadoop的
export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
这里的路径就改成你自己的路径
配置完后如下图:
接下来执行
source /etc/profile
接着输入Java -version
如果没有出现这个,输入Java或者javac也没有出现东西的
那肯定就是你的环境变量配置错了,检查一下路径,改完后再次执行 source /etc/profile
下面是检验hadoop的
执行下图命令进入到文件夹内,首先来配置hadoop.env.sh
这里也可以一次性进入,上图只是为了演示
cd /opt/hadoop/hadoop/etc/hadoop
如下:
找到hadoop-env.sh
vim hadoop-env.sh
把这个路径改成jdk的目录
改完之后,接着改core-site.xml
vim core-site.xml
fs.defaultFS
hdfs://localhost:9000
hadoop.tmp.dir
/usr/local/hadoop/tmp
记得新建一下tmp文件夹,在hadoop目录的下面
命令是 mkdir
接着再修改名为hdfs-site.xml
vim hdfs-site.xml
dfs.replication
1
dfs.namenode.name.dir
/opt/hadoop/hadoop/tmp/dfs/name
dfs.datanode.data.dir
/opt/hadoop/hadoop/tmp/dfs/data
同样是记得添加文件夹
接着改mapred-site.xml
因为没有这个所以需要借用一个叫mapred-site.xml.template的文件夹
使用cp mapred-site.xml.template mapred-site.xml命令,这里就是把后面的template后缀删掉了
改完之后, vim mapred-site.xml
mapreduce.framework.name
yarn
接着把yarn-site.xml也一起改完了
vim yarn-site.xml
添加配置
yarn.nodemanager.aux-services
mapreduce_shuffle
改完之后按Esc :wq保存,前面的修改完都是一样的
上面的配置全部完成之后
执行NameNode的格式化
hdfs namenode -format
执行开启命令
start-dfs.sh //启动
stop-dfs.sh //关闭
输入 jps
看看有没有这些,如果没有DataNode
在这感谢这位大佬提供的方案!
访问地址是你本机的ip和50070端口
完成后如下图
启动yarn
start-yarn.sh
在浏览器输入: ip:8088就可以进去了
启动yarn就是可以通过web端来查看运行情况
到这就搭好了,小弟写的比较简单粗略,欢迎大佬指正错误!
文章来源: blog.csdn.net,作者:Jack^Lee,版权归原作者所有,如需转载,请联系作者。
原文链接:blog.csdn.net/qq_39968986/article/details/111629484