5分钟教你搭建Hadoop本地模式以及Hadoop伪分布式

最新推荐文章于 2024-09-10 12:00:00 发布

拉兹罗

最新推荐文章于 2024-09-10 12:00:00 发布

阅读量567

点赞数 2

分类专栏： Hadoop 大数据文章标签： hadoop安装 hadoop环境变量 jdk环境变量 Hadoop本地模式搭建 Hadoop伪分布式

本文链接：https://blog.csdn.net/qq_41473321/article/details/84446566

版权

Hadoop 同时被 2 个专栏收录

1 篇文章 0 订阅

订阅专栏

大数据

1 篇文章 0 订阅

订阅专栏

以下不涉及完全分布式，只说明单机版和伪分布式

一，hadoop本地模式和伪分布式模式之间的区别

1.单机(非分布式)模式这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。

2.伪分布式运行模式这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)

请注意分布式运行中的这几个结点的区别：从分布式存储的角度来说，集群中的结点由一个NameNode和若干个DataNode组成，另有一个SecondaryNameNode作为NameNode的备份。从分布式应用的角度来说，集群中的结点由一个JobTracker和若干个TaskTracker组成，JobTracker负责任务的调度，TaskTracker负责并行执行任务。TaskTracker必须运行在DataNode上，这样便于数据的本地计算。JobTracker和NameNode则无须在同一台机器上。一个机器上，既当namenode，又当datanode,或者说既是jobtracker,又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算，故称为"伪分布式"。

二，hadoop本地模式的搭建

1.首先需要一台客户机
2.安装jdk

1)首先在客户机根目录root文件夹下建立tools文件夹：

root> mkdir tools

2)用远程连接工具连接客户机，拖拽压缩包到客户机 root/tools/目录下
3) 解压 jdk-8u152-linux-x64.tar.gz 到/etc/local下：

tar -zxvf  jdk-8u152-linux-x64.tar.gz  -C /usr/local/

3.安装hadoop

1)用远程连接工具连接客户机，拖拽压缩包到客户机 root/rools 目录下
2)解压 hadoop-2.7.2.tar.gz 到 etc/local/下：

tar -zxvf  hadoop-2.7.2.tar.gz -C /usr/local

4.配置环境变量到文件最下面

hadoop> vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_152
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

5.打开一个终端
输入以上两项，都能正常显示除版本号，即为环境搭建成功以上步骤为本地模式搭建成功！

hadoop version
java -version

三，hadoop伪分布式模式的搭建

以上五部到配置环境搭建成功为基础6
6.配置集群

1）配置：hadoop-env.sh
Linux 系统中获取jdk 的安装路径：/usr/local/jdk1.8.0_152
修改JAVA_HOME 路径为：

export JAVA_HOME=/opt/module/jdk1.8.0_144

2）配置：core-site.xml

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop101:9000</value>
</property>
<property>
	 <!-- 指定hadoop 运行时产生文件的存储目录-->
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

3）配置hdfs-site.xml

<property>
	<!-- 指定HDFS 副本的数量-->
	<name>dfs.replication</name>
	<value>1</value>
</property>

4）启动集群格式化 namenode（第一次启动时格式化，以后就谨慎格式化操作）

1.格式化操作
[root@hadoop01 hadoop-2.7.2]$ bin/hdfs namenode -format
2.启动namenode
[root@hadoop01 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
3.启动datanode
[root@hadoop01 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

5）查看集群是否成功

[qianfeng@hadoop101 hadoop-2.7.2]$ jps
13586 NameNode
13668 DataNode
13786 Jps

//正常应该启动这三个进程

6）在web前端查看HDFS文件系统
http://192.168.120.128:50070/
192.168.120.128为自己的主节点的IP
(注意不要用自己计算机自带的浏览器，用搜狗，360都可以，如果无法查看网页打开如下帖子处理http://www.cnblogs.com/zlslch/p/6604189.html)
以上步骤即为伪分布式搭建成功！