centos伪分布式hadoop、spark、scala 超详细搭建流程

最新推荐文章于 2024-07-25 17:07:01 发布
最新推荐文章于 2024-07-25 17:07:01 发布
阅读量732 收藏 12
点赞数 27
文章标签： 分布式 centos hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZXX1502487358/article/details/138287307
版权

目录

一、安装伪分布式hadoop

一、安装JAVA环境

步骤一：下载 JDK 安装包（jdk-8u152-linuxx64.tar.gz）

步骤二：卸载自带 OpenJDK

步骤三：安装 JDK

步骤四：设置 JAVA 环境变量

二、实现免密登陆

步骤一：创建ssh秘钥，输入如下命令，生成公私密钥

步骤二：将master公钥id_dsa复制到master进行公钥认证，实现本机免密登陆，测试完exit退出

三、Hadoop环境的安装与配置

步骤一：解压Hadoop压缩包

步骤二：修改环境变量

步骤三：编辑/opt/hadoop/etc/hadoop/hadoop-env.sh文件

步骤四：编辑/opt/hadoop/etc/hadoop/core-site.xml文件

步骤五：编辑/opt/hadoop/etc/hadoop/hdfs-site.xml文件

步骤六：复制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml

步骤七：编辑/opt/hadoop/etc/hadoop/mapred-site.xml文件

步骤八：编辑/opt/hadoop/etc/hadoop/yarn-site.xml文件

步骤九：编辑/opt/hadoop/etc/hadoop/slaves文件

步骤十： 格式化hdfs

步骤十一：启动集群 jps查看,登录网页

二、安装伪分布式spark

步骤一：安装命令如下，将安装包解压到/usr/local目录下，将安装包放在了root目录下

步骤二：复制和重命名后得到spark-env.sh，打开spark-env.sh添加内容

步骤三：进入spark目录的/sbin下启动spark集群，jps查看

步骤四：启动spark-ahell

步骤五：查看网页http://master：8080

​编辑三、安装伪分布式scala

步骤一：安装命令如下，将安装包解压到/usr/local目录下，将安装包放在了root目录下

步骤二：配置scala环境变量，重新加载配置文件，运行scala

一、安装伪分布式hadoop

一、安装JAVA环境

步骤一：下载 JDK 安装包（jdk-8u152-linuxx64.tar.gz）

官网地址：https://www.oracle.com/java /technologies /javase-jdk8-downloads.html

步骤二：卸载自带 OpenJDK

[root@master ~]# rpm -qa | grep java

卸载相关服务

[root@master ~]# rpm -qa | grep java

[root@master ~]# java --version

步骤三：安装 JDK

安装命令如下，将安装包解压到/usr/local/src 目录下，将安装包放在了root目录下

[root@master ~]# tar -zxvf /root/jdk-8u152-linux-x64.tar.gz -C /usr/local/src/

[root@master ~]# ls /usr/local/src/

jdk1.8.0_152

步骤四：设置 JAVA 环境变量

[root@master ~]# vi /etc/profile

在文件的最后增加如下两行：

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

export PATH=$PATH:$JAVA_HOME/bin

执行 source 使设置生效：

[root@master ~]# source /etc/profile

检查 JAVA 是否可用。

[root@master ~]# echo $JAVA_HOME /usr/local/src/jdk1.8.0_152

[root@master ~]# java -version

java version "1.8.0_152"

Java(TM) SE Runtime Environment (build 1.8.0_152-b16)

Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16, mixed mode)

能够正常显示 Java 版本则说明 JDK 安装并配置成功。

二、实现免密登陆

步骤一：创建ssh秘钥，输入如下命令，生成公私密钥

[root@master ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

步骤二：将master公钥id_dsa复制到master进行公钥认证，实现本机免密登陆，测试完exit退出

[root@master ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub master

[root@master ~]# ssh master

[root@master ~]# exit

三、Hadoop环境的安装与配置

步骤一：解压Hadoop压缩包

将/root/下的hadoop-2.7.7.tar.gz压缩包解压到/opt目录下

[root@master ~]#tar -zxvf /root/hadoop-2.7.1.tar.gz -C /opt

并将解压文件改名为hadoop

[root@master ~]#cd /opt

[root@master opt]#mv hadoop-2.7.1/ hadoop

步骤二：修改环境变量

[root@master ~]# vim /etc/profile

export HADOOP_HOME=/opt/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[root@master ~]# source /etc/profile

步骤三：编辑/opt/hadoop/etc/hadoop/hadoop-env.sh文件

[root@master ~]# vi /opt/hadoop/etc/hadoop/hadoop-env.sh

修改配置文件为jdk的安装路径：

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

步骤四：编辑/opt/hadoop/etc/hadoop/core-site.xml文件

[root@master ~]# vi /opt/hadoop/etc/hadoop/core-site.xml

修改配置文件为：   <configuration>

                                <property>

                                <name>fs.defaultFS</name>

                                <value>hdfs://master</value>

                                </property>

                                <property>

                                <name>hadoop.tmp.dir</name>

                                <value>/opt/hadoop/tmp</value>

                                </property>

</configuration>

步骤五：编辑/opt/hadoop/etc/hadoop/hdfs-site.xml文件

[root@master ~]#  vi /opt/hadoop/etc/hadoop/hdfs-site.xml

修改配置文件：<configuration>

                         <property>

                         <name>dfs.replication</name>

                        <value>3</value>

                        </property>

                        </configuration>

步骤六：复制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml

[root@master ~]# cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapred-site.xml

步骤七：编辑/opt/hadoop/etc/hadoop/mapred-site.xml文件

[root@master ~]# vi /opt/hadoop/etc/hadoop/mapred-site.xml

修改配置为：  <configuration>

                        <property>

                        <name>mapreduce.framework.name</name>

                        <value>yarn</value>

                        </property>

                        </configuration>

步骤八：编辑/opt/hadoop/etc/hadoop/yarn-site.xml文件

[root@master ~]# vi /opt/hadoop/etc/hadoop/yarn-site.xml

修改配置为：   <configuration>

                        <property>

                        <name>yarn.nodemanager.aux-services</name>

                        <value>mapreduce_shuffle</value>

                        </property>

                        </configuration>

步骤九：编辑/opt/hadoop/etc/hadoop/slaves文件

[root@master ~]# vim /opt/hadoop/etc/hadoop/slaves

步骤十： 格式化hdfs

[root@master ~]# hdfs namenode -format

步骤十一：启动集群 jps查看,登录网页

[root@master ~]# start-all.sh

[root@master ~]# jps

在浏览器的地址栏输入http://master:50070，进入页面可以查看NameNode和DataNode 信息

二、安装伪分布式spark

步骤一：安装命令如下，将安装包解压到/usr/local目录下，将安装包放在了root目录下

[root@master ~]# tar -zxf /root/spark-3.2.1-bin-hadoop2.7.tgz -C /usr/local/

步骤二：复制和重命名后得到spark-env.sh，打开spark-env.sh添加内容

[root@master bin]# cd /usr/local/spark-3.2.1-bin-hadoop2.7/conf/

[root@master conf]# cp spark-env.sh.template spark-env.sh

[root@master conf]# vi spark-env.sh

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

export HADOOP_HOME=/opt/hadoop

export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

export SPARK_MASTER_IP=master

export SPART_LOCAL_IP=master

步骤三：进入spark目录的/sbin下启动spark集群，jps查看

[root@master conf]# cd /usr/local/spark-3.2.1-bin-hadoop2.7/sbin/

[root@master sbin]# ./start-all.sh

[root@master sbin]# jps

步骤四：启动spark-ahell

[root@master ~]# cd /usr/local/spark-3.2.1-bin-hadoop2.7/conf/

[root@master spark-3.2.1-bin-hadoop2.7]# ./bin/spark-shell

步骤五：查看网页http://master：8080


三、安装伪分布式scala

步骤一：安装命令如下，将安装包解压到/usr/local目录下，将安装包放在了root目录下

[root@master ~]# tar -zxf /root/scala-2.11.8.tgz -C /usr/local

步骤二：配置scala环境变量，重新加载配置文件，运行scala

[root@master ~]# vim /etc/profile

export SCALA_HOME=/usr/local/scala-2.11.8

export PATH=$PATH:$SCALA_HOME/bin

[root@master ~]# source /etc/profile

[root@master ~]# scala

Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_152).

Type in expressions for evaluation. Or try :help.

步练师y
关注
  • 27
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
centOS7搭建hadoop环境（非常详细！非常适合新手！）
yujuan110的博客
11-06 3万+
centOS7下搭建hadoop环境，非常非常详细。
Hadoop2.8和Spark2.1完全分布式搭建
08-11
### Hadoop2.8与Spark2.1完全分布式搭建知识点详解 #### 一、前期准备工作 **1. 安装包的准备** - **VMware:** - 版本要求：10.0及以上 - 下载地址：[官方下载]...
Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8完全分布式集群)
热门推荐
1-只小猴子的博客
06-27 1万+
关键字：LinuxCentOS Hadoop Java 版本： CentOS7 Hadoop3.2.0 JDK1.8 说明：Hadoop从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。 1.下载hadoop 本博文使用的hadoop是3...
[Centos版]Hadoop运行环境的具体搭建过程(超详细)
不温卜火
04-21 7818
纠结了非常久，最终还是决定开始更新大数据集群类的文章了。 目录一. 安装Linux1. 安装Linux(内存2G-4G，硬盘50G)2. 安装VMTools(可不装，不过装了方便)3. 关闭防火墙(重要)4. 设置静态IP，改主机名5. 配置hosts文件6. 创建用户名7. 配置用户为sudoers8. 创建文件夹，并赋权限给新建的用户名二. 安装JDK1. 上传文件到指定文件夹内2. 在L...
搭建单机伪分布式Hadoop+spark+scala
weixin_74331328的博客
04-26 953
hdfs://master#注意这里是ip映射可改为自己的ip地址。/usr/local/src/hadoop/tmp
基于centos7的hadoop伪分布式spark+scala（详细教程）
2303_77609267的博客
04-27 1063
准备活动：需要scala和spark安装包。
centos7关于在HADOOP伪分布式中搭建spark和scala
m0_45101736的博客
01-16 420
centos7关于在伪分布式中搭建spark和scala 1.下载相关安装包建议jdk更换为1.8版本以上的以免scala用不了 2.这里给出我的压缩包图片以及相关下载链接 链接:link 链接:link 链接:link 分别是scala，jdk，spark的解压 3.将压缩包传入虚拟机中后将他们解压（tar -zvxf 压缩包） 4.进行环境变量的添加（这些事我的路径，改为自己的即可） 依次是...
震惊Hadoop伪分布式+spark+scala竟如此简单！
z1843911620的博客
04-25 958
验证hdfs：可以登录浏览器地址：192.168.20.11:50070 （ip地址是master的地址）export JAVA_HOME=/opt/jdk #这里是opt目录。修改 hdfs-site.xml 将dfs.replication设置为1。在最后加上export JAVA_HOME=/opt/jdk。切换到spark安装目录的/sbin目录下启动spark集群。修改 mapred-site.xml。修改文件yarn-site.xml。修改 core-site.xml。
Hadoop伪分布式平台搭建
qq_74137843的博客
04-26 985
搭建Hadoop伪分布式环境是在单台机器上模拟完整的Hadoop分布式系统，使得所有的Hadoop守护进程（如NameNode、DataNode、ResourceManager、NodeManager等）都在同一台机器上运行。这样可以在一台机器上体验Hadoop的分布式特性，适合学习、测试和开发。
Centos7 spark1.6.1_hadoop2.6 分布式集群环境搭建
qq_39877977的博客
07-01 130
spark 分布式
CentOS Linux中搭建Hadoop和Spark集群详解.docx
06-06
在搭建Hadoop和Spark集群的过程中，首先需要理解这两个框架的基本概念和作用。Hadoop是一个开源的分布式计算框架，由两个主要组件构成：HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一个高容错性的...
第6集-Hadoop环境搭建 - linux（centos7） - 安装配置hbase1.3.6.pdf
09-17
Hadoop 环境搭建 - Linux（CentOS 7）- 安装配置 HBase 1.3.6 HBase 是一个开源的分布式数据库，基于 Hadoop 和 BigTable，提供了高性能、可扩展的数据存储解决方案。在本文中，我们将学习如何在 CentOS 7 上搭建 ...
Spark集群及开发环境搭建（完整版）
04-09
Spark集群及开发环境搭建，适合初学者，一步一步并配有截图。 目录 一、 软件及下载 2 二、 集群环境信息 2 三、 机器安装 2 1. 安装虚拟机VirtualBox 2 2. 安装CentOs7 2 四、 基础环境搭建（hadoop用户下）...
第3集-Hadoop环境搭建 - linux（centos7） - 安装配置hadoop2.7.7.pdf
09-17
本文将详细介绍如何在Linux（CentOS7）环境中搭建Hadoop环境，包括安装和配置Hadoop2.7.7的步骤。 Hadoop概述 Hadoop是Apache基金会下的一个开放源代码项目，主要用于大数据存储和处理。Hadoop核心组件包括HDFS...
分布式文件存储行业解决方案和技术选型分析
最新发布
zhuzhu_YT的博客
07-25 2278
上一集，我们已经完成了初始化测试报告以及判断压测类型的实战，我们在文章的末尾提到了文件上传的问题以及文件存储的问题，也说了接下来的几集中，我们会讨论分布式文件存储的内容。那么话不多说，我们就根据这一集的标题来展开分布式文件存储的讨论吧。成本：MinIO作为开源解决方案，可以节省成本，适合对存储成本有严格控制的场景。而云厂商解决方案需要付费，但通常提供更全面的服务和支持。自主性：使用MinIO等开源解决方案，企业可以拥有更高的自主性和控制权，而云服务则由服务提供商管理。集成性。
【Python】在CentOS 7上安装Python 3.9
linjiuxiansheng的博客
07-25 409
本文将详细介绍如何在CentOS 7系统上安装Python 3.9。通过执行以下步骤，你可以顺利完成安装，并配置相关环境变量。
CentOS磁盘分区和挂载
zhanglianzhu_91的博客
07-23 504
记一次Linux上磁盘分区和挂载的日记。
大数据处理：大数据处理框架Hadoop、Spark
Chujun123528的博客
07-24 851
大数据处理是当代信息技术领域的一个重要分支，它涉及到海量数据的存储、管理和分析。为了高效地应对大数据处理的挑战，多种框架被开发出来，其中Hadoop和Spark是最为知名和广泛应用的两种。以下将详细介绍这两种框架以及它们在大数据处理中的应用和优势。
CentOS6.5上Hadoop2.2.0与Spark伪分布式的详细部署教程
主要内容涵盖安装Linux（CentOS 6.5）、配置SSH免登陆、安装基本工具、单机安装Hadoop、伪分布式部署Spark、搭建Zookeeper集群以及Kafka的安装与验证。文档还特别提到了在安装和配置过程中可能遇到的问题及解决方法...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值