搭建Hadoop伪分布式

学习目标：

1.能搭建出伪分布式的hadoop平台，3个进程正常启动;
2.能创建和管理HDFS文件；
3.能运行测试mapreduce程序。

---

学习内容：

1.理解HDFS存在的原因；
2.理解HDFS体系架构；
3.理解Hadoop配置文件参数的含义；
4.学会逐一启动HDFS和统一启动HDFS；
5.学会在HDFS中上传文件。

---

学习时间：

 

---

学习产出：

大家好丫！我是大数据小白honey。几天前我们老师教我们在云创大数据平台上搭建了hadoop的伪分布式。现在我就来和大家分享分享丫。

1.配置Hadoop的安装环境

用java -version查看java版本

 进入到java home 目录下cd $HADOOP_HOME

修改配置文件core-site.xml和hdfs-site.xml，修改类容如下

2. 进行免密操作

输入ssh localhost命令

 输入以下俩个命令得到密钥

 复制密钥并检验

得到以下就表示免密设置成功

 

3.格式化namenode 

进入Hadoop home 目录下，开式格式化 cd $HADOOP_HOME、.bin/hdfs namenode -format

最后是这个结果就表明格式化成功

4.配置hadoop java运行环境

cd etc/hadoop/

vi hadoop-env.sh 修改javahome的路径,需要跟echo $JAVA_HOME的路径保持一致

5.启动HDFS

cd $HADOOP_HOME

 ./sbin/start-dfs.sh

看到如下结果就表示启动成功啦

6.查看进程

好啦！以上就是hadoop伪分布式搭建的所有内容啦！我是honey 我们下回见啦！害！顺便说一句冬天来啦大家是不是都想摊在被窝里丫。我也是的呢！所以好久都没更新了。希望小伙伴们可以监督监督我。让我们一起勤劳起来吧！