阿里云服务器搭建spark特别坑的地方

最新推荐文章于 2024-07-16 20:32:10 发布
最新推荐文章于 2024-07-16 20:32:10 发布
阅读量5.3k 收藏 1
点赞数 2
分类专栏： spark 文章标签： spark 阿里云 公网ip
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qingiyan/article/details/76039647
版权
在阿里云服务器上搭建Spark时，遇到必须使用内网IP和主机名的限制，不能通过公网IP进行配置。此外，不同Spark版本之间存在不兼容问题，导致无法从低版本的spark-shell连接到高版本的Spark服务。解决方法包括更新本地Spark版本或在服务器上使用相同版本，并确保在配置文件中正确设置内网IP和主机名。
摘要由CSDN通过智能技术生成

特别坑的地方:

1. 不能使用公网ip, 就算你把1001/65533给0.0.0.0/0 全部开放端口都没有用, 只能使用内网ip和主机名关联, 用内网ip启动spark

    在/etc/hosts文件:

127.0.0.1 localhost

你的内网ip 你的主机名


    对应的spark-env.sh文件

最低0.47元/天 解锁文章
adsafsa
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
使用虚拟机从小白开始搭建Spark集群
wy的点滴
10-03 1万+
前言此篇博文记录一个小白如何用虚拟机搭建一个集群的血泪史，用来体验Spark的分布式计算。 在搭建之前，先理清一些概念。 Spark有三种集群搭建方式。分别为 独立集群模式，即standalone模式 搭建在Hadoop生态圈的YARN之上 搭建在Mesos之上 此篇讲述的是第2种。 而第2种集群方式，是建立在第1种之上的。也就是说，搭建了第2钟，就可以同时使用第1、2种了。 YARN是什么？
spark部署报绑定端口失败问题解决
mmyzhenyuanzi的博客
11-17 1231
安装配置spark后，启动spark集群，报错如下 16/03/30 14:33:02 WARN util.Utils: Service 'sparkMaster' could not bind on port 7077. Attempting port 7078. 16/03/30 14:33:02 WARN util.Utils: Service 'sparkMaster' could not bind on port 7078. Attempting port 7079. 16/03/30 14:3
Spark 启动Master失败原因分析
认知 行动 坚持
11-15 4995
最近在自己的笔记本上将虚拟机的CentOS修改了内存，由原来的的1g修改为512M。再次启动Spark集群时，发现启动不了。 分析步骤： 1.首先查看启动过程是否有报错，结果真有报错，具体如下： 显示启动Master失败了，错误日志存放在/root/hs_err_pid4432.log文件中 2.打开日志文件，显示如下： 3.大致原因找到，去虚拟机...
spark常见问题
xiaoxiaohacker的专栏
06-18 1268
写文章只是为了学习总结或者工作内容备忘，不保证及时性和准确性，看到的权当个参考哈！ 1. 执行Broadcast大表时，等待超时异常（awaitResult） 现象：org.apache.spark.SparkException: Exception thrown in awaitResult: java.util.concurrent.TimeoutException: Futures ...
Spark遇到的两三事以及阿里云搭建spark集群的大坑
zh_wang的博客
12-02 1085
1）错误代码如下： //distinctsubject是对应学科名的rdd数组。 val distinctsubject: RDD[String] =allsubject.distinct() //这个思路是将rdd中的字符串取出来，一个个用作筛选分组。 distinctsubject.foreach(dsbj=>{ //逐个筛选出每个学科对应老师的数据（take是一个action，...
腾讯云服务器下利用 Docker 极速搭建 Spark 集群和 HDFS 集群
Harrytsz的博客
03-25 3190
搭建 Spark 和 hdfs 的集群环境会消耗一些时间和精力，处于学习和开发阶段的同学关注的是 Spark应用的开发，他们希望整个环境能快速搭建好，从而尽快投入编码和调试，今天咱们就借助 Docker 容器，极速搭建和体验 Spark 和hdfs 的集群环境. 实战环境信息 以下是本次实战涉及的版本号： 操作系统：腾讯云 Ubuntu 服务器 hadoop：2.8 Spark：2.3 docker：17.03.2-ce docker-compose：1.23.2 极速搭建 Spark 集群和 hdfs
[Kafka与Spark集成系列四] Spark运行结构
朱小厮的博客
08-26 1493
在分布式环境下，Spark集群采用的是主从架构。如下图所示，在一个Spark集群中，有一个节点负责中央协调，调度各个分布式工作节点，这个中央协调节点被称为驱动器（Driver）节点，与之对应的工作节点被称为执行器（Executor）节点。驱动器节点可以和大量的执行器节点进行通信，它们也都作为独立的进程运行。驱动器节点和所有的执行器节点一起被称为一个Spark应用（Application)。 ...
基于阿里云搭建实时数据仓库项目项目需求及架构设计.pdf
01-06
"基于阿里云搭建实时数据仓库项目需求及架构设计" 本文档主要讲述基于阿里云搭建实时数据仓库项目的需求和架构设计。该项目的目的是学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程...
藏经阁-基于混合云的大数据精准运营实践.pdf
08-27
目前，系统采用阿里云服务器、弹性计算，完成向云上架构转变，实现日处理数十万单甚至百万单业务量。 服务治理 随着架构的复杂度增加，整个系统的规模也随之增大，服务也越来越多。驴妈妈旅游网利用开源框架对其...
基于java搭建一个中文舆情推荐系统-源码
10-02
部署时，可以选择云服务（如阿里云、AWS）或者自建服务器环境，根据实际需求进行配置。 总的来说，基于Java搭建的中文舆情推荐系统是一项综合性的工程，涵盖了从数据获取、处理到推荐算法的全过程。开发者需要掌握...
Spark学习系列——在虚拟机上搭建 Spark 集群的两种方法
热门推荐
u012604314的博客
06-07 1万+
一、概述        对于想学习 spark 集群搭建及应用的人来说，专门买多台物理主机往往成本太高，其实我们只需要利用虚拟机（我用的是 VMWare）搭建多台虚拟主机即可。在学习过程中，在网上搜了各种资料，参考了很多优秀的博客，发现在虚拟机上搭建 spark 集群主要有两种方法。第一种是充分利用 VMWare 的虚拟机克隆功能，只需要配置好一台主机，直接克隆生成其他主机并修改少量配置即可
云服务器搭建Spark集群
weixin_44911248的博客
10-28 481
参数 3 含义：指定保存 Application 历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。需要注意的是，增加保留的应用程序数量将会增加 Spark 历史服务器的磁盘和内存使用量，因为它需要存储更多的元数据和日志信息。因此，在增加这个值时，你需要确保你的系统有足够的资源来支持这么做。参数 3 含义：指定保存 Application 历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
基于云创部署spark
m0_61601582的博客
03-14 2519
学习目标： 搭建spark2.4.0并用jsp查看master、slave1、slave2上的进程 学习内容： 搭建spark 2.4.0 学习时间： 周一至周五晚上 7 点—晚上9点 周六上午 9 点-上午 11 点 周日下午 3 点-下午 6 点 学习产出： 这次搭建是基于云创Hadoop大数据平台，并且已经起好hadoop的进程 1.将spark2.4.0下载并解压 scp-rroot@10.30.56.2:/usr/local/spark*/usr tar vxfz ...
在阿里云上搭建 Spark 实验平台
dengxun7056的博客
04-17 303
之前在自己的笔记本上运行 Python 代码，有些要运行一天多，一关机就前功尽弃，很不方便，所以才有租用阿里云服务器的想法，用了同学租的一台用了两天又觉得不够使，索性就自己租了三台，配置如下，三台一共约 320 块。 CPU：1核 内存：2048 MB 操作系统：Ubuntu 14.04 64位 带宽计费方式：按固定带宽 当前使用带宽：1Mbps 实例规格：ecs...
大数据本地环境搭建03-Spark搭建
m0_49620121的博客
02-03 1145
需要提前部署好 Zookeeper/Hadoop/Hive 环境。
Spark学习之SparkSQL
最新发布
m0_58050808的博客
07-16 659
Spark SQL中的DataFrame DSL（Domain Specific Language，领域特定语言）是一种用于处理DataFrame的编程风格，它允许开发者以命令式的方式，通过调用API接口来操作DataFrame。这种风格**介于代码和纯SQL之间，**提供了一种更加灵活和强大的数据处理方式。DataFrame DSL（Domain Specific Language，领域特定语言）中的。idea里面将代码编写好打包上传到集群中运行，上线使用。
阿里云服务器CentOS 7.2搭建Hadoop伪分布式环境指南
本文档详细介绍了如何在阿里云服务器上的CentOS 7.2环境中搭建Hadoop的伪分布式环境，以便于学习和调试。首先，我们明确了Hadoop的作用，它是Apache基金会开发的分布式系统基础架构，特别适用于处理大规模数据集和...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值