hadoop伪分布式+spark环境+scala环境

最新推荐文章于 2024-08-14 14:25:28 发布
最新推荐文章于 2024-08-14 14:25:28 发布
阅读量792 收藏 25
点赞数 20
文章标签： 分布式 hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_63439264/article/details/138190304
版权

目录

基础环境

1.修改主机名

2.网络映射

java环境配置

1.查看Linux是否安装了java jdk，如果查询有其他的java版本，则需要删除

2.解压，压缩包与重命名

3.修改java环境变量

4.配置文件生效 source /etc/profile---也可以写成  . /etc/profile

hadoop的环境配置

1.解压hadoop

2.修改配置文件vi /etc/profile

3.配置文件生效，查看hadoop的版本

hadoop集群伪分布式

一、查看是否安装了ssh

2.启动ssh服务

3.本机生成公钥，私钥和验证文件

4.将登录的信息复制到验证文件

二、HDFS的配置文件

1.配置hadoop-env.sh

2.配置vi core-site.xml

3.配置vi hdfs-site.xml

4.格式化HDFS

三、YARN的配置

1.进入hadoop配置目录：

2.配置mapred-site.xml.template

四、启动服务用户定义

1.用户定义 vi /etc/profile

2.启动hdfs或yarn服务

spark的环境搭建

spark的配置文件位置

1.拷贝文件 在解压的目录下的../conf/

/conf/spark-env.sh

2.主配置文件也要写/etc/profile

3. source /etc/profile使环境生效

4.启动集群：spark下sbin目录下：./start-all.sh​编辑

5.可用jps看是否有这三个进程

6.查看spark是否安装成功 返回主目录下输入spark-submit --version

scala环境搭

1.scala的配置文件，直接写在/etc/profile下

2.source /etc/profile使环境变量生效，接着scala -version查看是否安装成功，出现画线版本号即为成功(或者直接输入scala)​编辑

以下是要准备的包：

1.java的包--jdk

2.hadoop的包

spark和scala是基于Hadoop环境部署安装的

3.scala包：

https://www.scala-lang.org/download/all.html

注意：这里spark与scala的包最好都统一版本，还有下以.tgz结尾的包

4.spark包：

Index of /spark/spark-3.5.1 (apache.org)

 上传到linux上(记住位置)

首先解压spark

之后在解压scala，与spark的解压同理

hadoop与java也是一样的解压方式

我的文件位置，以下的操作皆为我的文件位置来写

把以上的压缩包都准备好，接下来开始搭建hadoop+spark+scala伪分布式集群

基础环境

注意：在搭建Hadoop的时候需要关闭防火墙与安全上下文(这里默认以及配好ip)

1.修改主机名

hostnamectl set-hostname hadoop[修改的主机名]

bash        //启动

2.网络映射

vi /etc/hosts

java环境配置

1.查看Linux是否安装了java jdk，如果查询有其他的java版本，则需要删除

删除命令：rpm -e --nodeps [java名]

2.解压，压缩包与重命名

重命名： mv [原文件] [新文件]

3.修改java环境变量

在最后三行写：vi /etc/profile

export JAVA_HOME=/opt/jdk
export PATH=$JAVA_HOME/bin:$PATH

4.配置文件生效 source /etc/profile---也可以写成  . /etc/profile

hadoop的环境配置

1.解压hadoop

2.修改配置文件vi /etc/profile

在最后三行写！！ 以下所有的配置文件都是在最后写

#hadoop
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.配置文件生效，查看hadoop的版本

hadoop集群伪分布式

一、查看是否安装了ssh

主要的圈了起来：

如果没有的话需要安装：
yum install -y openssh-clients openssh-server

2.启动ssh服务

systemctl restart sshd

3.本机生成公钥，私钥和验证文件

回车三次即可

4.将登录的信息复制到验证文件

注意：输入该指令后需要自行输入登录密码

这样就配置好免密登录了可以尝试ssh登录命令查看是否配置成功：

二、HDFS的配置文件

进入到hadoop的配置目录：

以下的配置文件都在这个目录下改

1.配置hadoop-env.sh

在这个配置文件最后换行添加

vi hadoop-env.sh

export JAVA_HOME=/opt/jdk        //自己配置文件位置

2.配置vi core-site.xml

<configuration>
<!--配置hdfs文件系统的命名空间-->
<property>
   <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>
<!-- 配置临时数据存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp/</value>
</property>
</configuration>

3.配置vi hdfs-site.xml

<configuration>
　　<!--指定HDFS副本的数量-->
　　<property>
　　　　<name>dfs.replication</name>
　　　　<value>1</value>
　　</property>
　　<!--设置默认端口，如果不加上会导致启动hadoop-3.1.0后无法访问50070端口查看HDFS管理界面，hadoop-2.7.7可以不加-->
　　<property> 
　　　　<name>dfs.http.address</name> 
　　　　<value>hadoop:50070</value> 
　　</property>
</configuration>

4.格式化HDFS

配置好HDFS文件系统后首次启动需要进行格式化
注意：不可随意格式化namenode，格式化会删除namenode image和edits文件
再创建新的 image 和 edits，数据将会丢失，需要谨慎使用！！(以及格式化也是在上面的目录下)

hdfs namenode -format

格式化成功后，会在hadoop.tmp.dir配置的/opt/hadoop/tmp目录生成目录dfs/name/current/，里面包含几个文件如下：

如果多次格式化应该做的是

找到这个文件夹下的tmp文件夹，删除这个文件夹，之后在mkdir tmp 一个文件夹

注意：名字不要改，文件夹的位置也不要改

三、YARN的配置

1.进入hadoop配置目录：

cd /opt/hadoop/etc/hadoop/

在这个文件写写入

<configuration>
<!--RM的hostname-->
<property>
   <name>yarn.resourcemanager.hostsname</name>
   <value>hadoop</value>
</property>
<!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序-->
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
</configuration>

2.配置mapred-site.xml.template

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

四、启动服务用户定义

1.用户定义 vi /etc/profile

# HADOOP_USER
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

2.启动hdfs或yarn服务

启动：start-dfs.sh

启动：start-yarn.sh

这个目录下

spark的环境搭建

spark的配置文件位置

1.拷贝文件 在解压的目录下的../conf/

cd /opt/spark/conf/       //进入目录下

cp spark-env.sh.tmplate spark-env.sh        //拷贝

/conf/spark-env.sh

export JAVA_HOME=/opt/jdk        //java的解压位置

export HADOOP_HOME=/opt/hadoop        //hadoop的解压位置

export HADOOP_CONF_DIR=/opt/hadoop        //hadoop的配置文件的位置，如果这个spark安装不起来那就换一个路径，就是hadoop的主配置文件位置 /opt/hadoop/etc/hadoop(如下所示)

export SPARK_MASTER_IP=hadoop        //写本机名或者本机IP

export SPARK_LOCAL_IP=hadoop        //写本机名或者本机IP

2.主配置文件也要写/etc/profile

配置环境变量  vim /etc/profile

#SPARK 
export SPARK_HOME=/opt/spark
export PATH=$PATH:${SPARK_HOME}/bin
export PATH=$PATH:${SPARK_HOME}/sbin

3. source /etc/profile使环境生效

4.启动集群：spark下sbin目录下：./start-all.sh

5.可用jps看是否有这三个进程

6.查看spark是否安装成功 返回主目录下输入spark-submit --version

scala环境搭

1.scala的配置文件，直接写在/etc/profile下

export SCALA_HOME=/opt/scala

export PATH=$PATH:${SCALA_HOME}/bin

2.source /etc/profile使环境变量生效，接着scala -version查看是否安装成功，出现画线版本号即为成功(或者直接输入scala)

冬至后
关注
  • 20
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop伪分布式-----Spark的安装和配置
机器学习、数据挖掘
03-30 2312
在前面几章已经搭建好Hadoop环境，本节主要介绍在Hadoop基础上搭建Spark平台 1 下载所需安装包 1）下载spark安装包      2）下载Scala安装包，并解压安装包本例以下面版本为例 2配置环境变量 利用命令sudo gedit /etc/profile配置如下环境变量 3 查看Scala版本 4 配置Spark 将 spark -env.sh
大数据笔记（四）：Hadoop 2.7.7+Scala+Spark 完全分布式集群搭建
Kevin的博客
04-17 1877
本文记录了使用3台物理机部署Hadoop完全分布式集群的过程，所使用系统为Ubuntu16.04 LTS，Hadoop版本为Hadoop 2.7.7。 搭建前的准备 Ubuntu16.04 LTS JDK(Download pass:kevin) Hadoop 2.7.7（Download pass:kevin） 免密登录 新装系统分别设置如下参数 No. 姓名 计算机名 用户...
hadoop伪分布式集群 spark配置
水彩橘子
07-06 663
一、基础环境 1、环境介绍 操作系统：centos 7.9 jdk版本：8u291 hadoop版本:2.10.1 spark版本：2.4.8 （因为自建了hadoop 所以使用without-hadoop包） spark下载地址：https://archive.apache.org/dist/spark/spark-2.4.8/ 2、hadoop配置 https://blog.csdn.net/zyj81092211/article/details/118248361 3、上传软件包到服务器并解压重名为s
hadoop2.7及spark伪分布式集群搭建
06-17 1899
准备布一个hadoop的伪分布式集群(三台虚拟机master，slave1，slave2)1.操作系统：    Linux：  CentOS7 64 Bit    Java：   1.8(自己下载了tar包，自带的配置起来较麻烦)    Hadoop： 2.7.5(下载地址：https://blog.csdn.net/qq_36434219/article/details/80669692 )  ...
hadoop与spark共存伪分布式系统搭建
飞华的博客
08-27 344
这里写自定义目录标题1 安装部署Hadoop2 安装部署spark 1 安装部署Hadoop 关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.service 配置主机名 vi /etc/hosts ip bigdata2 免密码登陆（不对称：公钥、私钥-----> 字符串） ssh-keygen -t rsa ssh-copy-id -i .ssh/id_rsa.pub root@bigdata2 安装jdk
Spark+hadoop+scala 完全分布式集群搭建过程及启动过程
07-08
对于想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，Spark 集群的构建分为了五个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整...
徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari
01-26
根据提供的标题、描述、标签及部分内容链接，我们可以推断出这是一个关于大数据技术栈的培训课程，涉及的技术包括Hadoop、HBase、Zookeeper、Spark、Kafka、Scala以及Ambari。下面将针对这些技术进行详细的介绍和...
Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala
05-05
单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作...
毕业设计-基于Hadoop+Spark的大数据金融信贷风险控系统源码.zip
04-23
这些步骤通常涉及MapReduce模型，使用Hadoop的分布式文件系统（HDFS）进行数据存储，并利用Spark进行高效计算。 4. **金融信贷风险评估**：在金融领域，信贷风险评估是决定是否批准贷款申请的关键环节。该系统可能...
eclipse集成hadoop+spark+hive开发源码实例
05-02
在Windows操作系统中，Eclipse是一款广泛使用的Java集成开发环境（IDE），它对于开发分布式计算框架如Hadoop、Spark以及数据仓库工具Hive来说，是非常有用的。本教程将深入讲解如何在Eclipse中集成这些组件，以创建...
Windows+spark+scala+hadoop的Spark（python）开发环境搭建
彩虹风雨后，成功细节中
04-23 1331
实习单位的主管让我在写接口之余搞搞Spark，搞了2天终于搞定了windows下的单点伪分布式模式了，搭环境的坑实在是太多、太多了。主要是现在网上的博客，假的太多了，就是为了骗访问量，太无耻！！！ 希望看到我这篇博客的同志们，可以少走一些弯路！ 注： Spark暂不支持python3.6。 每一步一定要认真做，环境变量很容易出错。 我用的是 Anaconda4...
spark集群搭建（Hadoop、Scala）
Allure_love的博客
02-28 1506
hadoop spark 集群搭建，并有jdk配置 和部分的hdfs 命令
微服务实现-sleuth+zipkin分布式链路追踪和nacos配置中心
qq_59099003的博客
08-08 777
sleuth+zipkin实现分布式链路追踪、nacos配置中心
[log4cplus]: 快速搭建分布式日志系统
Mr.Sugarcane
08-14 576
快速搭建基于log4cplus的成熟分布式日志系统，支持日志过滤、分类，支持轮替和自定义日志格式
多云网络部署存在挑战，F5分布式云应用简化方案解读
hanniuniu13的博客
08-14 451
为了解决上述多云网络部署带来的挑战，F5以不增加复杂性，也不会失去颗粒化控制和关键可见性的方式，构建出一套不受云平台限制，且能够满足传统和现代应用需求的平台式服务，即F5分布式云服务。某电信运营商通过使用F5多云网络解决方案，提供统一的API集成更高更稳定的应用层的支持，白牌控制台的网络服务，跨分布式云环境的安全交付，最终实现服务从核心网络扩展到专有网络，能够轻松应对多云、数据中心和边缘的产品，统一管理应用和网络。对于高度敏捷企业中的开发团队而言，传统网络的沉重运维成本和低效率将会成为发展的障碍？
分布式版本控制概述
m0_74012211的博客
08-12 339
分布式版本控制概述
大数据技术——Hadoop运行环境搭建
weixin_63106307的博客
08-08 1103
注：Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。使用linux上面的工具yum下载epel软件库中的软件的时候，默认访问的是国外的地址，所有最好修改为国内的仓库地址，下载速度会显著提升。④将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件。（2）查看Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8。
Scala与Spark：大数据处理的完美组合
2401_85639015的博客
08-07 888
函数式编程：支持高阶函数、不可变数据结构等。面向对象编程：支持类和对象的定义，并具备继承、多态等特性。与Java兼容：可以与Java代码互操作，方便使用现有的Java库。表达能力强：代码简洁，能够用更少的代码实现更多功能。Apache Spark是一个开源的分布式计算框架，用于处理大规模数据集。内存计算：通过将数据存储在内存中，显著提升计算速度。RDD（弹性分布式数据集）：提供了一个可以并行处理的数据结构。支持多种编程语言：包括Java、Python、Scala和R。丰富的库支持。
【独家首发】基于蜣螂优化算法DBO-GMDH的风电数据回归预测研究Matlab实现.rar
最新发布
08-14
【独家首发】基于蜣螂优化算法DBO-GMDH的风电数据回归预测研究Matlab实现.rar
Linux环境Hadoop伪分布式安装与组件配置指南
本文将详细介绍如何在Linux环境下安装Hadoop并进行伪分布式配置，同时涉及Hadoop的一些相关组件，如Scala、Spark、Maven、Ambari、Pig、Hive和HBase的安装和配置。 在Linux下安装Hadoop单机模式的第一步是确保系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值