伪分布式Hadoop+Spark+Scala的搭建

已于 2024-04-27 13:54:04 修改
阅读量928 收藏 21
点赞数 24
文章标签： 运维 大数据 hadoop spark scala
于 2024-04-27 12:44:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74038727/article/details/138244811
版权
本文详细介绍了如何在本地搭建伪分布的Hadoop、Spark和Scala环境，包括上传安装包、JDK配置、环境变量设置、配置文件编写、格式化HDFS以及解决Namenode和Datanode启动问题。同时，也涵盖了Spark和Scala的安装与运行过程。
摘要由CSDN通过智能技术生成

目录

一，伪分布Hadoop的搭建

1，上传安装包并卸载jdk自带的包

2，解压安装包到指定目录并编辑JDK环境

3，Hadoop的环境配置

解压安装包并将名字改为Hadoop，及编写环境变量

编辑其它配置文件

（1） 编写hadoop-env.sh

（2）编写core-site.xml

（3）编写hdfs-site.xml

（4）改名并编辑mapred-site.xml

（5）编写yarn-site.xml

（6）编写salves

格式化 hdsf

4，Hadoop的启动及集群的查看

！！！关于开启start -all.sh时Namenode和Datanode有时消失的解决办法

Namenode的解决办法 

Datanode的解决方法

二，伪分布Spark的搭建

1，安装包解压

2，配置文件的改名及编写

3，进入spark集群并查看

4，启动spark-shell

三，伪分布Scala的搭建

1，解压安装包并配置文件

2，Scala的运行

一，伪分布Hadoop的搭建

1，上传安装包并卸载jdk自带的包

2，解压安装包到指定目录并编辑JDK环境

！！！编辑完要使它生效

3，Hadoop的环境配置
解压安装包并将名字改为Hadoop，及编写环境变量

编辑其它配置文件
（1） 编写hadoop-env.sh

（2）编写core-site.xml

（3）编写hdfs-site.xml

（4）改名并编辑mapred-site.xml

（5）编写yarn-site.xml

（6）编写salves

格式化 hdsf

4，Hadoop的启动及集群的查看

！！！关于开启start -all.sh时Namenode和Datanode有时消失的解决办法
Namenode的解决办法 

先查看端口，看是否被占用，如果被占直接kill - 9 端口号然后找到core-site.xml文件进行编写 将里面的端口号改为其它

Datanode的解决方法

大部分是由于多次启动或格式化导致DataNode和Namenode的ID号不同

1，首先关闭所有进程stop -all.sh 

2，进入Hadoop的安装目录 找到存放data，name的目录（一般默认在Hadoop的tmp/dfs下）

更改ID号使其data和name里的VERSION clusterID相同（name和data里的都要更改）

更改完成后重新启动再输入jps就可以看到有Namenode及DataNode了

二，伪分布Spark的搭建

1，安装包解压

2，配置文件的改名及编写

3，进入spark集群并查看

4，启动spark-shell

输入：quit即可退出spark-shell

三，伪分布Scala的搭建

1，解压安装包并配置文件

2，Scala的运行

输入：quit即可退出Scala

风中的云.
关注
  • 24
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Spark+hadoop+scala 完全分布式集群搭建过程及启动过程
07-08
对于想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，Spark 集群的构建分为了五个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整...
大数据技术Hadoop+Spark-hadoop和spark
07-18
### 大数据技术Hadoop与Spark综合解析 #### 一、Hadoop 生态圈组件介绍 ##### Hadoop 核心模块解析 Hadoop作为大数据处理领域的重要基石之一，其核心功能在于提供分布式存储与计算能力。Hadoop的核心模块主要包括...
Spark简单介绍，Windows下安装Scala+Hadoop+Spark运行环境，集成到IDEA中【踩坑成功版】
小王博客基地
10-31 2358
近几年大数据是异常的火爆，今天小编以java开发的身份来会会大数据，提高一下自己的层面！HadoopSparkFlink小编也只知道这些了，由于Hadoop，存在一定的缺陷（循环迭代式数据流处理：多并行运行的数据可复用场景效率不行）。所以Spark出来了，一匹黑马，8个月的时间从加入Apache，直接成为顶级项目！！选择Spark的主要原因是：Spark和Hadoop的根本差异是多个作业之间的数据通信问题 : Spark多个作业之间数据通信是基于内存，而 Hadoop 是基于磁盘。
伪分布式hadoop+spark+scala 超详细搭建
ice091107的博客
04-25 2046
步骤一：将/root/runajian下的hadoop-2.7.7.tar.gz压缩包解压到/opt目录下，并将解压文件改名为hadoop。复制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml。步骤一：安装命令如下，将安装包解压到/usr/local目录下，将安装包放在了root目录下。步骤三：编辑/opt/hadoop/etc/hadoop/hadoop-env.sh文件。步骤一：创建ssh秘钥，输入如下命令，生成公私密钥。
Spark基础学习笔记04：搭建Spark伪分布式环境
howard2005的专栏
03-01 2238
1. 学会搭建Spark伪分布式环境 2. 学会启动Spark Shell进行交互式操作 3. 学会使用Spark WebUI查看运行状态
Hadoop，Spark，Scala伪分布式搭建（详细步骤）
2301_76566333的博客
04-27 501
在浏览器地址里输入 http://192.168.130.100:50070 或 http://master:50070。⑥编辑/usr/local/src/hadoop-2.7.1/etc/hadoop/slaves 文件。先备份mapred-site.xml.tmplate文件 并改名为mapred-site.xml。4，编辑 spark-env.sh 文件 ：vi spark-env.sh。②解压jdk到/usr/local/src/目录下。2，解压该安装包到 /usr/local/src。
hadoop（伪分布式）上的spark和Scala安装与配置详细版
weixin_68473774的博客
03-07 2435
这里我使用是xshell进行的操作，需要的可以自行下载，这里就不多做解释了（（4）进入spark/sbin 启动spark ./start-all.sh。然后进行文件的托拽到（/opt/software）目录下，也可以复制哦。然后用tar命令解压文件，解压到/opt/module目录下。出现上面的情况，说明你的伪分布式的spark安装成功！vim进入 /etc/profile目录。解压文件到 opt/module/ 目录下。用vim修改/etc/profile文件。之后就进入/opt/module目录。
搭建单机伪分布式Hadoop+spark+scala
weixin_74331328的博客
04-26 969
hdfs://master#注意这里是ip映射可改为自己的ip地址。/usr/local/src/hadoop/tmp
伪分布式hadoop+spark+scala搭建
YYY7769的博客
04-25 517
看见worker和master就说明spark集群启动成功。切换到spark安装目录的/sbin目录下。使profile文件更新生效。
伪分布式hadoop、spark、scala 超详细搭建流程
2301_82049895的博客
04-26 1712
伪分布式hadoop。
毕业设计-基于Hadoop+Spark的大数据金融信贷风险控系统源码.zip
04-23
这些步骤通常涉及MapReduce模型，使用Hadoop的分布式文件系统（HDFS）进行数据存储，并利用Spark进行高效计算。 4. **金融信贷风险评估**：在金融领域，信贷风险评估是决定是否批准贷款申请的关键环节。该系统可能...
徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari
01-26
根据提供的标题、描述、标签及部分内容链接，我们可以推断出这是一个关于大数据技术栈的培训课程，涉及的技术包括Hadoop、HBase、Zookeeper、Spark、Kafka、Scala以及Ambari。下面将针对这些技术进行详细的介绍和...
Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala
05-05
单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作...
Linux磁盘管理与文件系统（一）：磁盘、MBR与分区和文件系统
shyuu的博客
08-08 997
Linux磁盘管理与文件结构（一），理论讲解磁盘结构、MBR与分区和文件系统
SSH免密登录
weixin_63793386的博客
08-08 263
输入：ssh-copy-id root@host12（注意@后边应该填写你要免密登录的ip地址,我写host12是因为我在Ansible_server服务器上的/etc/hosts配置了IP地址和对应的主机名的映射关系。现需要在ansible_server服务器上登录到host12上。若要实现两者互信只需要在host12重新执行一遍上述操作即可。出现上述图片就已经说明成功了。输入：ssh-keygen。
Falsk测试与部署（第九阶段）
蜡笔小新星的博客
08-09 632
在本章节中，我们学习了如何使用unittest和pytest进行单元和集成测试，以及如何配置Flask应用，使用WSGI服务器部署，容器化Flask应用并将其部署到各种云服务平台。通过这些步骤，你可以确保你的Flask应用在生产环境中的稳定性和可靠性。希望这些知识能够帮助你在实际项目中更好地实现测试和部署。
Centos7.6配置阿里云镜像源
ZHOUY@H
08-09 142
1、备份本地镜像源，将/etc/yum.repos.d/下所有文件备份到/etc/yum.repos.d/bak/下。3、清除yum缓存-yum clean all。4、验证镜像源仓库 yum repolist。
Vue项目通过宝塔部署之后，页面刷新后浏览器404页面
水w的博客
08-07 306
Vue项目通过宝塔部署之后，页面刷新后浏览器404页面
zabbix的自动发现和注册、proxy代理和SNMP监控
最新发布
Alone8046的博客
08-09 308
二、zabbix通过代理服务器添加主机：分布式监控，代理服务器的作用就是分担 server 的集中式压力；先有服务器，再有模版，模版当中设置应用集，模版当中设置应用集，再应用集中配置监控项，在监控项之后配置触发器，最后配置图形（可选项）zabbix proxy（代理服务器）：代理服务器也要安装数据库，保存客户端的数据，然后再发送给服务端（代收器）zabbix客户端主动的和服务端联系，将自己的地址和端口发送给服务端，实现自动添加监控主机。snmp：简单网络管理协议，用来监控网络设备，可以监控交换机和路由器。
什么是DNS缓存？DNS缓存有哪些作用和危害？
weixin_53018687的博客
08-08 597
DNS查询的过程比较复杂，如果每次访问网站都进行一次全球的迭代查询，就会产生较大的时延，影响用户的上网体验，于是DNS系统中引入的缓存机制。网站被劫持：DNS缓存还可能成为网络攻击的目标，攻击者利用DNS缓存中的漏洞来篡改DNS查询结果，将用户重定向到恶意网站或进行其他非法活动，会对用户的信息财产安全以及网站的业务开展造成严重危害。数据不准确：DNS缓存的信息并不是实时更新的，如果某个网站的IP地址发生了变化，DNS缓存中的信息还没有来得及更新，那么用户就可能无法访问到最新的网站内容。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值