搭建伪分布式的Hadoop

最新推荐文章于 2024-04-30 08:56:04 发布
最新推荐文章于 2024-04-30 08:56:04 发布
阅读量301 收藏
点赞数 5
文章标签： 分布式 hadoop 大数据 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wjjwl521520/article/details/133913131
版权

文章目录

一、Hadoop部署模式

（一）独立模式

  • 在独立模式下，所有程序都在单个JVM上执行，调试Hadoop集群的MapReduce程序也非常方便。一般情况下，该模式常用于学习或开发阶段进行调试程序。

（二）伪分布式模式

  • 在伪分布式模式下， Hadoop程序的守护进程都运行在一台节点上，该模式主要用于调试Hadoop分布式程序的代码，以及程序执行是否正确。伪分布式模式是完全分布式模式的一个特例。

（三）完全分布式模式

  • 在完全分布式模式下，Hadoop的守护进程分别运行在由多个主机搭建的集群上，不同节点担任不同的角色，在实际工作应用开发中，通常使用该模式构建企业级Hadoop系统。

二、搭建伪分布式Hadoop

（一）登录虚拟机

1.需要使用FinalShell连接虚拟机

  • 登录ied虚拟机
    在这里插入图片描述

（二）上传安装包

  • 上传jdk和hadoop安装包。
    在这里插入图片描述
  • 查看上传的安装包
    在这里插入图片描述

（三）配置免密登录

1、生成密钥对

  • 执行命令：ssh-keygen
    在这里插入图片描述
  • 执行命令后，连续敲回车，生成节点的公钥和私钥，生成的密钥文件会自动放在/root/.ssh目录下。
    在这里插入图片描述

2、将生成的公钥发送到本机

  • 执行命令：ssh-copy-id root@ied
    在这里插入图片描述

3、验证虚拟机是否能免密登录自己

  • 执行命令：ssh ied
    在这里插入图片描述

（四）配置JDK

1、解压到指定目录

（1）解压到指定目录
  • 执行命令：tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local
    在这里插入图片描述
（2）查看java解压目录
  • 执行命令：ll /usr/local/jdk1.8.0_231
    在这里插入图片描述

2、配置JDK环境变量

  • 执行命令：vim /etc/profile
    在这里插入图片描述
export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  • 存盘退出
    在这里插入图片描述

3、让环境变量配置生效

  • 执行命令：source /etc/profile
    在这里插入图片描述

4、查看JDK版本

  • 执行命令：java -version
    在这里插入图片描述

（五）配置Hadoop

1、解压hadoop安装包

（1）解压到指定目录
  • 执行命令：tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local
    在这里插入图片描述
（2）查看hadoop解压目录
  • 执行命令：ll /usr/local/hadoop-3.3.4
    在这里插入图片描述
（3）常用目录和文件

  • bin目录 - 存放命令脚本
    在这里插入图片描述

  • etc/hadoop目录 - 存放hadoop的配置文件
    在这里插入图片描述

  • ib目录 - 存放hadoop运行的依赖jar包
    在这里插入图片描述

  • sbin目录 - 存放启动和关闭Hadoop等命令
    在这里插入图片描述

2、配置hadoop环境变量

  • 执行命令：vim /etc/profile
    在这里插入图片描述
  • 说明：hadoop 2.x用不着配置用户，只需要前两行即可

3、让环境变量配置生效

  • 执行命令：source /etc/profile
    在这里插入图片描述

4、查看hadoop版本

  • 执行命令：hadoop version
    在这里插入图片描述

5、编辑Hadoop环境配置文件 - hadoop-env.sh

  • 执行命令：cd etc/hadoop，进入hadoop配置目录
    在这里插入图片描述
  • 执行命令：vim hadoop-env.sh，添加三条环境变量配置
    在这里插入图片描述
  • 存盘退出后，执行命令source hadoop-env.sh，让配置生效
    在这里插入图片描述

6、编辑Hadoop核心配置文件 - core-site.xml

  • 执行命令：vim core-site.xml
    在这里插入图片描述
<configuration>
   <!--用来指定hdfs的老大-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ied:9000</value>
    </property>
    <!--用来指定hadoop运行时产生文件的存放目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.3.4/tmp</value>
    </property>
</configuration>
  • 由于配置了IP地址主机名映射，因此配置HDFS老大节点可用hdfs://ied:9000，否则必须用IP地址hdfs://192.168.1.100:9000
    在这里插入图片描述

7、编辑HDFS配置文件 - hdfs-site.xml

  • 执行命令：vim hdfs-site.xml
    在这里插入图片描述
<configuration>
    <!--设置名称节点的目录-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-3.3.4/tmp/namenode</value>
    </property>
    <!--设置数据节点的目录-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-3.3.4/tmp/datanode</value>
    </property>
    <!--设置辅助名称节点-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>ied:50090</value>
    </property>
    <!--hdfs web的地址，默认为9870，可不配置-->
    <!--注意如果使用hadoop2，默认为50070-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>0.0.0.0:9870</value>
    </property>
    <!--副本数，默认为3-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--是否启用hdfs权限，当值为false时，代表关闭-->
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
</configuration>

8、编辑MapReduce配置文件 - mapred-site.xml

  • 执行命令：vim mapred-site.xml
    在这里插入图片描述
<configuration>
    <!--配置MR资源调度框架YARN-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
</configuration>

9、编辑YARN配置文件 - yarn-site.xml

  • 执行命令：vim yarn-site.xml
    在这里插入图片描述
<configuration>
    <!--配置资源管理器：ied-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>ied</value>
    </property>
    <!--配置节点管理器上运行的附加服务-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--关闭虚拟内存检测，在虚拟机环境中不做配置会报错-->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

10、编辑workers文件确定数据节点

  • 说明：hadoop-2.x里配置slaves文件，hadoop-3.x里配置workers文件
  • 执行命令：vim workers
    在这里插入图片描述
  • 只有1个数据节点，正好跟副本数配置的1一致

（六）格式化名称节点

  • 执行命令：hdfs namenode -format
    在这里插入图片描述
  • Storage directory /usr/local/hadoop-3.3.4/tmp/namenode has been successfully formatted. 表明名称节点格式化成功。
    在这里插入图片描述

（七）启动Hadoop服务

1、启动hdfs服务
  • 执行命令：start-dfs.sh
    在这里插入图片描述
2、启动yarn服务
  • 执行命令：start-yarn.sh
    在这里插入图片描述
3、查看Hadoop进程
  • 执行命令：jps
    在这里插入图片描述
  • 说明：start-dfs.sh与start-yarn.sh可以用一条命令start-all.sh来替换
    在这里插入图片描述
wjjmine
关注
  • 5
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop3.x环境搭建、伪分布式部署、集群部署
09-16
Hadoop 3.x中引入了一些重要的功能和优化，因此很有必要掌握Hadoop3.x。 本课程通过老师的讲解，你可以熟悉Hadoop3.x环境搭建、伪分布式部署、集群部署。 课程目录：1、Hadoop3.x环境基础环境构建2、Hadoop3.x伪分布式部署3、Hadoop3.x伪分布式部署补充4、Hadoop3.x HA集群部署5、Hadoop3.x HA集群部署补充
部署Hadoop3.0高性能集群——伪分布式部署
pkloi的啵啵啵啵博客
04-10 459
目录 介绍： 一、环境搭建 (1) 进行实验前准备，在VMware上安装一台CentOS7虚拟机，虚拟机的IP及机器名称如下（安装了可以忽略这一步） (2) 机器上配置hosts文件，实现域名与IP地址的对应，具体如下：（真实生产系统中在ＤＮＳ服务器上配置）　 (3)创建运行hadoop用户账号和Hadoop目录。 (4)安装Java环境JDK （4）关闭防火墙并让防火墙不会...
hadoop伪分布式集群搭建
qq_31426247的博客
03-28 472
基于hadoop 3.1.4搭建伪分布式环境
Hadoop3伪分布式安装
Paradox001的博客
08-30 233
Hadoop伪分布式环境搭建详细过程
hadoop-3.1.3伪分布式搭建，hadoop3.X.X
qq_42147602的博客
07-06 606
hadoop-3.1.3伪分布式搭建，hadoop3.X.X 文章jdk链接：https://pan.baidu.com/s/1Bx5wV47WSfpCGpaduwFixA 提取码：1234 文章hadoop链接：https://pan.baidu.com/s/1YYEQAbPERgy5b-YElpY-xw 提取码：1234 文章目录hadoop-3.1.3伪分布式搭建，hadoop3.X.X一、hadoop-3.X.X伪分布式搭建1.关闭防火墙2.配置hostsname3.配置hosts4.解压jdk，h
hadoop搭建伪分布式集群（centos7+hadoop-3.1.1）
lyw19930812的博客
09-26 1321
原文地址：https://www.cnblogs.com/zhengna/p/9316424.html Hadoop三种安装模式 搭建伪分布式集群准备条件 第一部分 安装前部署 1.查看虚拟机版本 2.查看IP地址 3.修改主机名为hadoop 4.修改 /etc/hosts 5.关闭防火墙 6.关闭SELINUX 7.安装yum源并安装基础包 8.关闭不必要的服务 9.安装Java环境 第二部分...
hadoop伪分布模式搭建(详细步骤）
热门推荐
m0_61232019的博客
12-22 1万+
一、前期准备 1. 关闭防火墙 2. 安装好JDK 3. 准备hadoop安装包 二、安装hadoop伪分布模式 1. 在home/hadoop/software/路径下创建hadooptmp目录 2. 解压hadoop-3.3.0.tar.gz 3. 进入hadoop-3.3.0/etc/hadoop 4. 编辑hadoop运行是的环境 5. 配置NameNode所在的主机或者通讯地址及NameNode格式化后的目录的路径 6. 配置DataNode的数据块冗余度
大数据Hadoop集群搭建 1（伪分布式集群）
currify的博客
11-16 3090
（2）另一种是Hadoop集群自定义配置时编辑的配置文件，包括hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和slaves共7个文件，可以根据需要在这些文件中对默认配置文件中的参数进行修改，Hadoop会优先选择这些配置文件中的参数。在完全分布式模式下，默认的块副本是3份。（1）bin：存放操作Hadoop相关服务（HDFS、YARN）的脚本，但是通常使用sbin目录下的脚本。
hadoop的伪分布式搭建
weixin_45959865的博客
12-23 398
Hadoop伪分布搭建
hadoop伪分布式搭建（超详细）
默默发展，无声壮大~
03-05 2381
上一篇文章已经为大家介绍了如何在Linux系统上配置java环境，这为Hadoop的集群搭建提供了基础条件，因为Hadoop是由Java编写的如果还没有在虚拟机配置java系统的小伙伴可以先看一下我的第一篇文章:https://blog.csdn.net/beixige/article/details/129112527接下来是hadoop伪分布搭建的要准备东西： jdk1.8.0_221 hadoop-2.7.7 我都打包提供给大家了，下载地址：https://share.weiyun.com/dk7Wg
基于Hadoop的常规案例，在Windows和Linux上搭建伪分布式hadoop集群
12-29
基于Hadoop的常规案例，在Windows和Linux上搭建伪分布式hadoop集群 -------- 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到...
hadoop伪分布式环境搭建
09-22
详细的hadoop2 伪分布式环境搭建以及eclipse部署。demo示例代码测试运行。文中有插件包。资源包等参考链接参考下载。
伪分布式基于hadoop3.1.3生态环境大数据集群
06-15
hadoop=3.1.3 jdk=1.8.0_162 hbase=2.2.2 mysql=5.7.3 hive=3.1.2 scala=2.11.12 spark=2.4.0 sbt=1.3.8 flink=1.9.1 maven=3.6.3 建议配合主机的IntelliJ-IDEA的Bigdata拓展工具以及SSH服务进行远程操控使用。 3.本...
搭建hadoop伪分布式.docx
05-23
伪分布式运行模式 这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)，请注意分布式运行中的这几个结点的区别：从分布式...
hadoop伪分布式搭建.docx
03-23
大数据hadoop平台伪分布式搭建详细步骤，基于ubtuntu系统，供初学者学习使用。... 大数据hadoop平台伪分布式搭建详细步骤，基于ubtuntu系统，供初学者学习使用。...
debian配置distcc分布式编译
随手写下笔记和感悟
04-24 623
distcc 是一个用于在网络上的多台机器上分发 C、C++、Objective C 或 Objective C++ 代码构建的程序。distcc 应始终生成与本地构建相同的结果，易于安装和使用，并且通常比本地编译快得多。distcc 不要求所有机器共享文件系统、同步时钟或安装相同的库或头文件。如果安装了交叉编译器，它们甚至可以具有不同的处理器或操作系统。它甚至不要求远程主机安装额外类库。
Kafka：分布式流处理平台的深度解析
shiranyyds的博客
04-21 1609
Kafka：分布式流处理平台的深度解析
pytest-xdist：远程多主机 - 分布式运行自动化测试
we chat：玩转测试开发
04-26 919
需要特别注意的是rsync功能被弃用，因为它的实现在远程工作者中再现开发环境方面存在缺陷，而且没有明确的解决方案。出于这个原因，rsync计划在4.0版中删除，让团队专注于一组较小的功能。请注意，SSH和套接字服务器不是计划删除的，因为它们是execnet功能集的一部分。：pytest-xdist插件使用新的测试执行模式扩展了pytest，最常用的是在多个CPU之间分发测试以加快测试执行，即。：在远程服务器端会生成一份相应的项目数据，因为我们使用的是 ./ 即 把当前项目远程拷贝到目标服务器执行。
Seata分布式原理及优势
最新发布
y666__的博客
04-30 326
Tc global_table 全局 xid branch_table 分支的信息 lock_table 此时此刻锁的表。2、每个业务库都有自己的undo_log表：业务sql操作之前和之后的镜像数据。回滚的之后恢复数据，正常成功后 异步删除。业务库 undo_log。1、长事务分成多个短事务。锁资源时间短，效率高。
ubuntu18.04搭建伪分布式Hadoop环境
06-07
好的，下面是搭建伪分布式Hadoop环境的步骤： 1. 安装Java Hadoop需要Java环境，所以需要先安装Java。 ``` sudo apt-get update sudo apt-get install default-jdk ``` 2. 安装Hadoop 下载Hadoop安装包并解压：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值