最近闲来无事,又拿起了hadoop,在本地搭建了一个伪分布式,步骤有点多,特此记录一下
下面开始搞!
首先你得有jdk和hadoop的tar包,这个自行去下载哈,网上有很多(版本建议jdk1.8、hadoop建议2.x.)
我是把包放在了opt这个目录下
如图
我这里是新建了一个文件夹来进行存放,为了便于管理
mkdir jdk
mkdir hadoop
下面进行解压
tar -zxvf 文件路径 -C 解压路径
这里你是什么目录就按着上边来
解压好之后,记着路径,建议用截图工具截一张图贴在屏幕上
进入到profile进行配置
vim /etc/profile
进入后,先把光标移动到最下方,按小写i进入到插入模式
先配置Java的环境变量
export JAVA_HOME=/opt/jdk/jdk1.8.0_141
export PATH=$JAVA_HOME/bin:$PATH
接下来是hadoop的
export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
这里的路径就改成你自己的路径
配置完后如下图:
接下来执行
source /etc/profile
接着输入Java -version
如果没有出现这个,输入Java或者javac也没有出现东西的
那肯定就是你的环境变量配置错了,检查一下路径,改完后再次执行 source /etc/profile
下面是检验hadoop的
执行下图命令进入到文件夹内,首先来配置hadoop.env.sh
这里也可以一次性进入,上图只是为了演示
cd /opt/hadoop/hadoop/etc/hadoop
如下:
找到hadoop-env.sh
vim hadoop-env.sh
把这个路径改成jdk的目录
改完之后,接着改core-site.xml
vim core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000<value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp<value>
</property>
记得新建一下tmp文件夹,在hadoop目录的下面
命令是 mkdir
接着再修改名为hdfs-site.xml
vim hdfs-site.xml
<!-- 指定hdfs产生的副本数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 指定NameNode运行时产生文件的存储目录 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop/hadoop/tmp/dfs/name</value>
</property>
<!-- 指定DataNode运行时产生文件的存储目录 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop/hadoop/tmp/dfs/data</value>
</property>
同样是记得添加文件夹
接着改mapred-site.xml
因为没有这个所以需要借用一个叫mapred-site.xml.template的文件夹
使用cp mapred-site.xml.template mapred-site.xml命令,这里就是把后面的template后缀删掉了
改完之后, vim mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
接着把yarn-site.xml也一起改完了
vim yarn-site.xml
添加配置
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
改完之后按Esc :wq保存,前面的修改完都是一样的
上面的配置全部完成之后
执行NameNode的格式化
hdfs namenode -format
执行开启命令
start-dfs.sh //启动
stop-dfs.sh //关闭
输入 jps
看看有没有这些,如果没有DataNode
在这感谢这位大佬提供的方案!
访问地址是你本机的ip和50070端口
完成后如下图
启动yarn
start-yarn.sh
在浏览器输入: ip:8088就可以进去了
启动yarn就是可以通过web端来查看运行情况
到这就搭好了,小弟写的比较简单粗略,欢迎大佬指正错误!