大数据上课笔记之Hadoop完全分布模式的安装配置—下

最新推荐文章于 2023-12-26 10:16:10 发布
最新推荐文章于 2023-12-26 10:16:10 发布
阅读量271 收藏 1
点赞数
分类专栏： 完全分布式基础 大数据基础操作 文章标签： hadoop 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cisyamr/article/details/127440881
版权

接上文大数据上课笔记之Hadoop完全分布模式的安装配置——上

如有不懂，可以去看一下上一篇文章。

目录

一、Hadoop安装

1、下载Hadoop压缩包 

2、上传Hadoop压缩包到虚拟机

 3、将Hadoop压缩包解压到指定目录

 4、配置Hadoop环境变量

5、验证Hadoop环境 

二、配置Hadoop集群 

1、在master虚拟机上配置hadoop

1.1、编辑Hadoop核心配置文件 

 1.2、编辑HDFS配置文件

 1.3、编辑MapReduce配置文件

1.4、编辑yarn配置文件

 1.5、编辑workers文件确定数据节点

 2、在slave1虚拟机上安装配置hadoop

2.1 、将master虚拟机上的hadoop分发到slave1虚拟机

2.2 、将master虚拟机上环境配置文件分发到slave1虚拟机

2.3、在slave1虚拟机上让环境配置生效 

 3、在slave2虚拟机上安装配置hadoop

3.1、将master虚拟机上的hadoop分发到slave2虚拟机 

 3.2、将master虚拟机上环境配置文件分发到slave2虚拟机

 3.3、在slave2虚拟机上让环境配置生效

 三、课后复习

一、Hadoop安装

1、下载Hadoop压缩包 

 3、将Hadoop压缩包解压到指定目录

  • 执行命令：tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local

  •  查看解压之后的hadoop目录

  • 在配置Hadoop时，常用的就是bin、etc与sbin三个目录

  • 查看bin目录 

 

  •  查看etc/hadoop目录，主要是hadoop配置文件

 

  • 查看sbin目录 

 4、配置Hadoop环境变量

  •  执行命令：vim /etc/profile

  • 说明：hadoop 2.x用不着配置用户，只需要前两行即可

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
  •  存盘退出，执行命令source /etc/profile，让配置生效

5、验证Hadoop环境 

  • 执行命令：hadoop version，检查Hadoop安装是否成功 

二、配置Hadoop集群 

1、在master虚拟机上配置hadoop

  •  执行命令：cd $HADOOP_HOME/etc/hadoop，进入hadoop配置目录

  • 执行命令：vim hadoop-env.sh，添加三条环境变量配置 

export JAVA_HOME=/usr/local/jdk1.8.0_341 
export HADOOP_HOME=/usr/local/hadoop-3.3.4
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  • 存盘退出后，执行命令source hadoop-env.sh，让配置生效

  • 查看三个配置的三个环境变量 

1.1、编辑Hadoop核心配置文件 

  •  执行命令：vim core-site.xml

 

<configuration>
    <!--用来指定hdfs的老大-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <!--用来指定hadoop运行时产生文件的存放目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.3.4/tmp</value>
    </property>    
</configuration>
  •  由于配置了IP地址主机名映射，因此配置HDFS老大节点可用hdfs://master:9000，否则必须用IP地址hdfs://192.168.1.101:9000
  • 使用命令：cat /etc/hosts

 1.2、编辑HDFS配置文件

  • 执行命令：vim hdfs-site.xml

  • 可以不用设置名称节点的目录、数据节点的目录以及辅助名称节点
<configuration>
    <!--设置名称节点的目录-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-3.3.4/tmp/namenode</value>
    </property>
    <!--设置数据节点的目录-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-3.3.4/tmp/datanode</value>
    </property>
    <!--设置辅助名称节点-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:50090</value>
    </property>
    <!--hdfs web的地址，默认为9870，可不配置-->
    <!--注意如果使用hadoop2，默认为50070-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>0.0.0.0:9870</value>
    </property>
    <!--副本数，默认为3，可不配置-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!--是否启用hdfs权限，当值为false时，代表关闭-->
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
</configuration>

 1.3、编辑MapReduce配置文件

  • 执行命令：vim mapred-site.xml 

<configuration>
    <!--配置MR资源调度框架YARN-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
</configuration>
  • 后三个属性如果不设置，在运行Hadoop自带示例的词频统计时，会报错：Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

1.4、编辑yarn配置文件

  • 执行命令：vim yarn-site.xml 

<configuration>
    <!--配置资源管理器：集群master-->
    <property>        
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <!--配置节点管理器上运行的附加服务-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--关闭虚拟内存检测，在虚拟机环境中不做配置会报错-->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

 1.5、编辑workers文件确定数据节点

  • hadoop-2.x里配置slaves文件，hadoop-3.x里配置workers文件

  • 通过workers文件定义数据节点，根据集群规划，三个节点都要作为数据节点

  • 执行命令：vim workers

 2、在slave1虚拟机上安装配置hadoop

2.1 、将master虚拟机上的hadoop分发到slave1虚拟机

  •  执行命令：scp -r $HADOOP_HOME root@slave1:$HADOOP_HOME

 

  •  在slave1虚拟机上查看分发的hadoop

2.2 、将master虚拟机上环境配置文件分发到slave1虚拟机

  •  命令：scp /etc/profile root@slave1:/etc/profile

2.3、在slave1虚拟机上让环境配置生效 

切换到slave1虚拟机上，并执行命令：source /etc/profile

 3、在slave2虚拟机上安装配置hadoop

3.1、将master虚拟机上的hadoop分发到slave2虚拟机 

  • 命令：scp -r $HADOOP_HOME root@slave2:$HADOOP_HOME 

  • 在slave2虚拟机上查看分发的hadoop 

 3.2、将master虚拟机上环境配置文件分发到slave2虚拟机

  •  命令：scp /etc/profile root@slave2:/etc/profile

 3.3、在slave2虚拟机上让环境配置生效

 三、课后复习

  • 回去后多看多练，特别要注意配置文件里的内容不要配置错误了
Cisyamr
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
搭建Spark Standalone模式的集群
snow703323的博客
06-14 399
一、执行命令：vi /etc/resolv.conf，修改/etc/resolv.con 添加两个域名服务器 存盘退出 执行命令：yum -y install vim 二、测试master能否访问外网 三、登陆slave1，执行命令：vi /etc/resolv.conf，添加域名解析服务器 存盘退出后，执行命令：yum - install vim，安装vim编辑器 四、登陆slave2与slave1一样操作 （三）查看三台虚拟机主机名 ......
windows下虚拟机配置spark集群最强攻略
简书博客搬家测试账号
03-16 342
感谢关注天善智能，走好数据之路↑↑↑欢迎关注天善智能，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区，学习，问答、求职一站式搞定！手把手教你在win7安装tensorflow-gpu开发环境1、虚拟机安装首先需要在windows上安装vmware和ubuntu虚拟机，这里就不多说了vmware下载地址：直接百度搜索，使用百度提供的链接下载，这里附上一个破解码5A...
搭建spark集群
HTY_yysd的博客
03-21 4064
一、搭建集群 （一）私有云上创建三台虚拟机 创建配置过程，参看本博《 在私有云上创建与配置虚拟机》 （二）利用SecureCRT登录三台虚拟机 打开连接对话框 1.登录master 在master虚拟机上安装vim编辑器 执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件 添加两个域名服务器 存盘退出 执行命令：yum -y install vim 现在我们通过/et...
Linux虚拟机上spark集群（完全分布式）搭建
ydchesterxu的博客
04-04 910
本文选自于微信公众号：superdiao的果壳 今天给大家介绍如何在Linux虚拟机上搭建spark集群。 需要声明的是，此次安装的spark集群是在Hadoop完全分布式集群（1个master，2个slave）的基础之上搭建的，环境是3台64位的centos7虚拟机。 安装基础环境（SCALA环境） Scala2.12.7 环境搭建 1）下载scala安装包scala...
搭建Spark Standalone集群
梁辰兴的博客
04-19 1106
当应用程序运行时，Master会在集群中选择一个Worker进程启动一个名为DriverWrapper的子进程，该子进程即为Driver进程，所起的作用相当于YARN集群的ApplicationMaster角色，类似MapReduce程序运行时所产生的MRAppMaster进程。Spark Standalone集群使用Spark自带的资源调度框架，但一般我们把数据保存在HDFS上，用HDFS做数据持久化，所以Hadoop还是需要配置，但是可以只配置HDFS相关的，而Hadoop YARN不需要配置。
Spark基础学习笔记05：搭建Spark Standalone模式的集群
f54268589的博客
06-07 469
Spark基础学习笔记05：搭建Spark Standalone模式的集群
启动spark集群
wk022的专栏
07-22 2178
启动Spark集群 1，登陆spark Master节点，启动$SPARK_HOME/sbin/start-all.sh，start-all.sh内容如下： sbin="`dirname "$0"`" sbin="`cd "$sbin"; pwd`" TACHYON_STR="" while (( "$#" )); do case $1 in --with-tachyon)
Spark 集群搭建从零开始之3 Spark Standalone集群安装、配置与测试
陈杰
09-19 1018
1、进入pc1的Spark的conf目录，创建或者修改spark-env.sh export JAVA_HOME=/usr/lib/jvm/java-8-oracle export SCALA_HOME=/chenjie/scala-2.10.4 export HADOOP_HOME=/chenjie/hadoop-2.6.5 export HADOOP_CONF_DIR=/chenjie
spark2.0搭建standalone集群模式
象在舞的技术专栏
04-30 555
       最近因为工作，需要在已有的集群中添加spark2.0并且能够运行集群任务，原先的集群环境是基于cloudera manager搭建的，spark的版本是1.6，综合考虑之下，决定部署spark的standalone模式，具体操作过程如下：一、安装spark2.0之前首先要选择与之对应的Scala版本。这里我选用的spark版本是2.1.1，与之对应的Scala版本是2.12.2。首先...
Spark入门(一): VMware虚拟机搭建Spark集群
Redemption1997的博客
09-29 5370
文章目录一、搭建方法二、准备三、系统环境配置四、软件安装与配置1. 软件下载安装2.Hadoop配置3.Spark配置五、虚拟机克隆六、启动集群七、踩坑经历分享 一、搭建方法 在虚拟机上搭建集群的方法通常有两种 1.类似于真实的机器上部署，首先要进行密钥授权使各台机器之间能够免密码相互访问，然后在主节点上将各个软件配置好，分发各个从节点。 2.采用虚拟机克隆的方式，先进行软件的配置，然后将mast...
使用虚拟机从小白开始搭建Spark集群
热门推荐
wy的点滴
10-03 1万+
前言此篇博文记录一个小白如何用虚拟机搭建一个集群的血泪史，用来体验Spark的分布式计算。 在搭建之前，先理清一些概念。 Spark有三种集群搭建方式。分别为 独立集群模式，即standalone模式 搭建在Hadoop生态圈的YARN之上 搭建在Mesos之上 此篇讲述的是第2种。 而第2种集群方式，是建立在第1种之上的。也就是说，搭建了第2钟，就可以同时使用第1、2种了。 YARN是什么？
Spark快速入门系列(4) | Spark环境搭建—standalone(1) 集群的搭建
不温卜火
07-07 5782
  大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenbuhuo.blog.csdn.net/   此篇为大家带来的是Spark环境搭建—standalone集群模.
配置Spark standalone集群启动
冲吧，不要停！
03-12 5583
前言 想在本地提交spark程序，在网上找了一些文章。在本地提交的前提就是，spark以集群的方式启动。于是想以简单的standalone方式启动，但在启动的时候遇到了一些问题，下面把过程和问题总结一下。 正文前提： 已经下载到spark到机器上（master和slave），并且已经配置好了SPARK_HOME（使用版本：spark-2.1.0-bin-hadoop2.7.tgz） 已经安装了j
Spark分布式集群搭建
最新发布
Zhangzghy的博客
12-26 1378
这里的Spark分布式集群是以我上一篇文章发的Hadoop分布式集群为基础搭建的，都是在UbuntuKylin系统中搭建的。过几天发Centos上的分布式集群搭建。
从0到1搭建spark集群---企业集群搭建
weixin_33856370的博客
12-16 87
今天分享一篇从0到1搭建Spark集群的步骤，企业中大家亦可以参照次集群搭建自己的Spark集群。 一。下载Spark安装包 可以从官网下载，本集群选择的版本是spark-1.6.0-bin-hadoop2.6 在官网中找到对应的链接即可http://spark.apache.org/downloads.html 或者用本人云盘下载地址 附上链接如下链接：https://pan.baidu...
Spark集群的启动流程
SX的博客
07-18 326
创建Master对象，启动一个Master进程。然后，执行preStart生命周期方法，开启一个定时器定期检测超时的worker节点;如果发现超时的Worker节点，则将其移除。 执行receive方法，接受其他Actor发送过来的请求 解析slaves配置文件，获取到用于启动Worker的节点，启动Worker节点 Worker向Master进行注册 Master收到注册信息后，把注册信息保存...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值