ubuntu虚拟机下搭建zookeeper集群，安装jdk压缩包，搭建Hadoop集群与spark集群的搭建【下篇】

已于 2023-04-14 22:39:02 修改
阅读量565 收藏 5
点赞数
分类专栏： 虚拟机C/U/win的配置与相关应用软件的操作 文章标签： hadoop VMware Ubuntu spark linux
于 2023-04-14 22:25:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56006701/article/details/130162642
版权

系列文章目录

Hadoop与主机连接以及20版本的Hadoop配置网络的问题_hadoop连不上网

Hadoop升级update命令被锁定的解决方法_hadoop重新初始化被锁住怎么办
虚拟机vmware下安装Ubuntu16.04修改屏幕尺寸与更新源，以及对应的安装vim和vim常见的操作命令

文章目录

前言

一、上篇文章链接

二、hadoop的配置

2.1、上传：scp hadoop-2.7.1.tar.gz hadoop@192.168.215.140:/home/hadoop/

2.2、解压Hadoop文件：Tar -zxvf Hadoop-2.7.1.tar.gz

2.3、移动Hadoop到opt目录：sudo mv Hadoop-2.7.1  /opt/

2.4、分发环境变量

三、在集群上面配置Hadoop环境变量

3.1、配置Hadoop-env.sh文件

3.2、配置core-site.xml文件：vim core-site.xml

3.3、配置hdfs-site.xml文件：vim hdfs-site.xml

​3.4、配置yarn-env.sh （yarn基本运行环境） 

3.5、配置yarn-site.xml 

3.7、配置mapred-site.xml文件：vim mapred-site.xml

3.8、分发环境变量配置文件，先删除已经存在的Hadoop

 3.9、在master节点上面格式化namenode（不可在其他节点上面进行）启动hdfs和yarn

3.10、启动mr-jobhistory-daemon.sh

3.11、Web页面

3.12、集群关闭

四、配置spark集群环境

4.1、上传：scp spark-2.4.0-bin-without-hadoop.tgz hadoop@192.168.215.140:/home/hadoop/

4.2、查看之后解压缩：tar zxvf spark-2.4.0-bin-without-hadoop.tgz

4.3、解压缩之后查看，然后修改名称：sudo mv spark-2.4.0-bin-without-hadoop/ spark

4.4、配置Vim.bashrc

4.5、修改名称：mv spark-env.sh.template spark-env.sh

 4.6、修改spark-defaults.conf文件

4.7、修改spark-env.sh文件

4.8、修改slaves文件

4.9、分发spark环境

 4.10、群起spark

4.11、修改原来的8080端口，避免与master端口重合，修改start-master.sh文件

4.12、修改原来的start-all.sh为start-spark-all.sh与stop-all.sh为stop-spark-all.sh

 4.13、启动spark的节点

 4.14、Web页面

4.15、停止spark节点

4.16、停止其他节点：

 总结

前言

本篇主要介绍配置Hadoop集群和spark集群搭建，在ubuntu虚拟机下搭建zookeeper集群，安装jdk压缩包在上篇已经介绍了，此处不做赘述。

一、上篇文章链接

ubuntu虚拟机下搭建zookeeper集群，安装jdk压缩包，搭建Hadoop集群与spark集群的搭建

二、hadoop的配置

2.1、上传：scp hadoop-2.7.1.tar.gz hadoop@192.168.215.140:/home/hadoop/

2.2、解压Hadoop文件：Tar -zxvf Hadoop-2.7.1.tar.gz

2.3、移动Hadoop到opt目录：sudo mv Hadoop-2.7.1  /opt/

重新命名：sudo mv Hadoop-2.7.1/ Hadoop

#配置Hadoop环境变量

export HADOOP_HOME=/opt/hadoop

export CLASSPATH=.:$HADOOP_HOME/lib

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置完成之后重启source .bashrc

2.4、分发环境变量

进入salve1里面，进入zkdata里面，删除下面的那些：salve2也是一样的操作

检查是否启动成功：zkserver.sh start

关闭zookeeper进程：另外两个也一样关闭的命令：zkServer.sh stop

三、在集群上面配置Hadoop环境变量

3.1、配置Hadoop-env.sh文件

vim.bashrc编写对应得Hadoop配置语句，三个虚拟机全部配置，保存，配置完成之后，source .bashrc使其生效，可以使用whereis  java查看我们配置Java的地址

export JAVA_HOME=${JAVA_HOME}

export JAVA_HOME=/OPT/JAVA/jdk

3.2、配置core-site.xml文件：vim core-site.xml

       <configuration>

               <property>

                       <name>fs.defaultFS</name>

                       <value>hdfs://master:9000</value>

               </property>

               <property>

                       <name>hadoop.tmp.dir</name>

                       <value>file:/opt/hadoop/tmp</value>

               </property>

       </configuration>

3.3、配置hdfs-site.xml文件：vim hdfs-site.xml

【修改的是第一个value的值为ip地址，第二个value为2】

<configuration>

       <!--指定HDFS的副本数-->

            <property>

                 <name>dfs.replication</name>

                 <value>2</value>

            </property>

            <property>

                 <name>dfs.namenode.name.dir</name>

                 <value>file:/opt/hadoop/tmp/dfs/name</value>

            </property>

            <property>

                 <name>dfs.datanode.data.dir</name>

                 <value>file:/opt/hadoop/tmp/dfs/data</value>

            </property>

        <!-- 50070端口默认是打开的可不设-->

            <property>

                  <name>dfs.http.address</name>

                 <value>192.168.80.140:50070</value>  

            </property>

        -->

        <!--seccondary namenode所在主机的IP和端口-->

        <property>

                <name>dfs.namenode.secondary.http-address</name>

                <value>Master:50090</value>

        </property>

</configuration>

3.4、配置yarn-env.sh （yarn基本运行环境） 

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

3.5、配置yarn-site.xml 

<configuration>

   <!-- 指定YARN的ResourceManager的地址 -->

<property>

                <name>yarn.resourcemanager.hostname</name>

                <value>Master</value>

   </property>

<!-- 指定YARN的NodeManager的附属服务——reducer 获取数据的方式  -->

   <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

   </property>

       <property>

                <name>yarn.nodemanager.resource.memory-mb</name>

                <value>2048</value>

    </property>

       <property>

                <name>yarn.nodemanager.resource.cpu-vcores</name>

                <value>1</value>

    </property>

</configuration>

3.7、配置mapred-site.xml文件：vim mapred-site.xml

【此处先复制一份，再编辑】

<configuration>

        <!-- 指定MapReduce运行时框架，这里指定在Yarn上，默认是local -->

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

              <property>

                <name>mapreduce.jobhistory.address</name>

                <value>master:10020</value>

        </property>

              <property>

                <name>mapreduce.jobhistory.webapp.address</name>

                <value>master:19888</value>

        </property>

              <--19888是HTTP服务端口，10020是处于jobhistoryserver节点用于IPC的端口—>

</configuration>

 

配置slaves文件，配置datanode节点，将datanode节点的主机名注册到salves文件里面配置的是salve1和salve2节点

3.8、分发环境变量配置文件，先删除已经存在的Hadoop

在master里面的opt目录之下，远程连接salve1的opt目录：scp -r Hadoop salve-1:/opt/

远程连接salve2的opt目录：scp -r Hadoop salve-2:/opt/,之后进入到另外两台虚拟机的opt目录下面查看是否配置Hadoop和Java成功，ls查看一下。

 

 3.9、在master节点上面格式化namenode（不可在其他节点上面进行）启动hdfs和yarn

 

3.10、启动mr-jobhistory-daemon.sh

sbin/mr-jobhhistory-daemon.sh  start  historyserver

之后其他两台虚拟机上面jps查看

 

 

3.11、Web页面

http://master:8088

管理界面：http://localhost:8088

NameNode界面：http://localhost:50070

HDFS NameNode界面：http://localhost:8042

3.12、集群关闭

四、配置spark集群环境

4.1、上传：scp spark-2.4.0-bin-without-hadoop.tgz hadoop@192.168.215.140:/home/hadoop/

4.2、查看之后解压缩：tar zxvf spark-2.4.0-bin-without-hadoop.tgz

 

4.3、解压缩之后查看，然后修改名称：sudo mv spark-2.4.0-bin-without-hadoop/ spark

 

查看用户权限：此处就是在hadoop用户权限之下，不做修改

4.4、配置Vim.bashrc

编辑内容如下：

进入saprk，可以看到spark的配置文件在conf文件里面

4.5、修改名称：mv spark-env.sh.template spark-env.sh

复制一下：cp spark-env.sh spark-env.bak

 4.6、修改spark-defaults.conf文件

4.7、修改spark-env.sh文件

4.8、修改slaves文件

4.9、分发spark环境

 4.10、群起spark

4.11、修改原来的8080端口，避免与master端口重合，修改start-master.sh文件

4.12、修改原来的start-all.sh为start-spark-all.sh与stop-all.sh为stop-spark-all.sh

 

 4.13、启动spark的节点

 4.14、Web页面

http://master:8090

4.15、停止spark节点

4.16、停止其他节点：

 总结

大家在配置过程要书写正确的语句，要细心一点才不会出错奥~

以上就是今天的内容喽~

最后欢迎大家点赞👍，收藏⭐，转发🚀，
如有问题、建议，请您在评论区留言💬哦。

张小鱼༒
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Docker容器嵌入式开发：Ubuntu上配置Spark环境的基本步骤
源代码杀手的博客
04-09 1477
在启动Spark Shell后，会创建一个Spark上下文（Spark Context，简称sc）和一个Spark会话（Spark Session，简称spark）。Spark上下文是与集群交互的主要入口点，而Spark会话则是与数据交互的入口点，可以用于创建DataFrame、执行SQL查询等。在这个页面中，您可以查看缓存的数据的存储级别、占用的内存和磁盘空间等信息。但是，您遇到了密码验证失败的问题。这个页面显示了当前正在运行的Spark作业的相关信息，包括作业的ID、状态、任务数量、运行时间等。
Zookeeper伪集群模式配置
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-26 570
本实验任务主要完成基于ubuntu环境的搭建Zookeeper伪集群模式的环境工作。通过完成本实验任务，要求学生熟练掌握搭建Zookeeper伪集群模式的环境的方法，为后续实验的开展奠定zookeeper平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握Zookeeper伪集群模式的环境搭建Ubuntu、Zookeeper3.4.5Apache Zookeeper 由 Apache Hadoop 的 Zookeeper 子项目发展而来，现已经成为 Apache
Zookeeper 下载安装 单机 集群
mrathena
11-20 367
博文目录 文章目录下载安装单机模式集群模式(类似于Redis的主从模式)配置启动 停止 查看状态客户端连接ZookeeperApache Curator 下载安装 官网 官网下载 apache-zookeeper-3.6.2-bin.tar.gz apache-zookeeper-3.5.8-bin.tar.gz cd /application wget https://mirrors.ocf.berkeley.edu/apache/zookeeper/zookeeper-3.5.8/apache-z
大数据：VMware | Ubuntu | Hadoop | Spark | VMwaretools | Python 安装配置总结
这也是计划的一部分的博客
05-25 2137
通过VMware创建新Ubuntu Linux环境，安装配置伪分布式Hadoop集群，Spark， VMwaretools，及多版本Python与版本选择。
zookeeper集群部署（ubuntu20.04）
m0_56939395的博客
01-17 431
ubuntu20.04集群部署zookeeper
Ubuntu 20.04 搭建hadoop 集群
zyw2002的博客
03-14 1万+
文章目录1. 虚拟机的安装1.1 下载VMware Workstation1.2 下载ubantu20.041.3 安装一台虚拟机1.4 安装Vmware Tools2. 网络配置2.1 添加权限2.2 DHCP动态分配IP地址2.3 配置静态IP地址2.4 主机名和IP地址映射3. 安装必要工具3.1 安装SSH3.2 安装JDK3.3 安装Mysql3.4 安装ZooKeeper3.6 安装Hadoop4. 配置相关文件4.1 修改hadoop 的配置文件4.1.1 core-site.xml4.1.
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
09-29
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细...
Ubuntu16.04下Zookeeper集群模式的本地安装与配置
01-07
Ubuntu16.04下Zookeeper集群模式的本地安装与配置 1.安装环境： os : Ubuntu 16.04 LTS 64bit jdk : 1.8.0_161 zookeeper:apache-zookeeper-3.5.6 zookeeper有单机、伪集群、集群三种部署方式。 单机：一个服务器 伪...
hadoop+zookeeper+hbase集群搭建配置说明
06-22
数据仓库hadoop+zookeeper+hbase集群安装方法记录，自己搭建纯手写的记录。相关软件请自行下载
Zookeeper集群搭建.doc
12-15
需要三台机器安装zookeeper集群：安装JDK环境、安装部署zookeeper集群、启动zookeeper集群、修改配置
Docker搭建Zookeeper&Kafka集群的实现
09-29
主要介绍了Docker搭建Zookeeper&Kafka集群的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Ubuntu安装Java环境和Hadoop
01-20
一、创建hadoop用户 如果你安装Ubuntu的时候不是用的“hadoop”用户，那么需要增加一个名为hadoop的用户 sudo useradd -m hadoop -s /bin/bash 接着使用如下命令设置密码，可简单的设置为hadoop，按提示输入两次密码： sudo passwd hadoop 可为hadoop用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题 sudo adduser hadoop sudo 最后使用su hadoop 切换到用户hadoop，或者注销当前用户，选择hadoop登录。 切换到hadoop用户后，先更新一些apt，后续会使用a
Ubuntu的Spark 搭建实验（ssh配置没好，需要的看新发的，完整版）
qq_56437391的博客
03-31 3044
学习目标： 学会Spark环境的搭建 学习内容： 学习Spark搭建环境的过程 学习环境 环境组合是Spark2.3.3+Java8+Scala2.11（这里都不是最新版本的，需要的话自行去官网搜索就好，直接官网下载就可以） 第一步：软件的下载： 这里方便大家下载直接用wget命令代替了 wget http://i9000.net:8888/sgn/HUP/spark/spark-2.3.3-bin-hadoop2.7.tgz#spark的下载 wget http://i9000.ne
如何在Ubuntu上搭建Spark独立集群管理器（Spark快速大数据分析）
liuyushuang_csdn的博客
03-05 801
1、要启动一个独立集群管理器们首先要在Ubuntu上配置好SSH无密码登录，同时设置好PATH环境变量网上教程很多，我就不赘述了。（记住spark要在同一个目录下哦） 2、登录master 进入conf目录，修改slaves.template跟spark-env.sh.template文件。（记得要将template文件复制成没有后缀名的文件再修改） 在slaves（无后缀名哦）文件
（初学者强烈推荐）Ubuntu 配置hadoop 超详细教程（全过程）
热门推荐
记录和分享、
11-19 3万+
本文的教程仅为个人的操作经验所写，每个人下载的版本不一样，所以会出现不同的情况异常等，如有问题可询问博主或百度查找解决方法。
Ubuntu下Hadoop的安装教程
hjseo_seg的博客
04-27 7191
Ubuntu下Hadoop的安装教程，Hadoop的单机配置和伪分布式安装 教程 本教程采用的是Ubuntu18.04.4+hadoop2.7.7+jdk1.8 创建Hadoop用户 打开命令行终端（ctrl+alt+t），输入如下命令创建hadoop用户：sudo useradd -m hadoop -s /bin/bash 为hadoop用户设置密码：sudo passwd hadoop（连续输入两次） hadoop用户增加管理员权限：sudo adduser hadoop sudo。 apt工具更新
hadoop slaves文件_Hadoop完全分布式集群搭建
weixin_39754411的博客
11-24 847
Hadoop的运行模式Hadoop一般有三种运行模式，分别是：单机模式（Standalone Mode），默认情况下，Hadoop即处于该模式，使用本地文件系统，而不是分布式文件系统。，用于开发和调试。伪分布式模式（Pseudo Distrubuted Mode），使用的是分布式文件系统，守护进程运行在本机机器，模拟一个小规模的集群，在一台主机模拟多主机，适合模拟集群学习。完全分布式集群模式（F...
基于Ubuntu虚拟机的Spark简单集群搭建(一)
weixin_44607838的博客
07-24 1945
基本介绍 作为一个Big Data领域的小白，最近自己尝试搭建了一个简易的spark集群。因此打算写篇博客记录一下整个过程。但是担心把所有部分放在一篇文章中可能导致文章过长，因此打算写成两篇。在这篇文章中，我会详细地介绍spark集群搭建的第一部分，hadoop集群的搭建。 环境介绍 虽说是一个集群，但是我总共只使用了两台ubuntu虚拟机，其中一个作为master节点,另一个作为worker节点。如果你想尝试使用更多的机器来搭建集群，也同样可以参考我的搭建过程，因为本质上差别不大。OK，下面我们
hadoop找不到slaves配置文件
weixin_43548589的博客
10-29 2228
hadoop3.0以后slaves更名为workers
搭建Hadoop集群不搭建zookeeper可以吗
最新发布
06-03
理论上来讲，可以在Hadoop集群中不使用Zookeeper进行搭建。不过，在实际的生产环境中，Zookeeper作为Hadoop集群的重要组件之一，其作用和重要性是不可替代的。 如果不使用Zookeeper，会存在以下几个问题： 1. 集群管理和协调：没有Zookeeper，就没有了集群管理和协调的功能，这会导致集群的稳定性和可靠性降低。 2. 配置信息管理：没有Zookeeper，无法统一管理和共享Hadoop集群中的配置信息，这会导致各个节点之间的配置信息不一致，从而影响集群的性能和稳定性。 3. 分布式锁管理：没有Zookeeper，就无法实现分布式锁的管理，这会导致在Hadoop集群中可能会出现数据冲突和数据不一致的问题。 因此，在搭建Hadoop集群时，强烈建议搭建Zookeeper来提供集群管理、配置信息管理和分布式锁管理等功能的支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

张小鱼༒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值