阿里云服务器搭建spark特别坑的地方

最新推荐文章于 2023-11-06 18:03:25 发布
原创 最新推荐文章于 2023-11-06 18:03:25 发布 · 5.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #阿里云 #公网ip

在阿里云服务器上搭建Spark时，遇到必须使用内网IP和主机名的限制，不能通过公网IP进行配置。此外，不同Spark版本之间存在不兼容问题，导致无法从低版本的spark-shell连接到高版本的Spark服务。解决方法包括更新本地Spark版本或在服务器上使用相同版本，并确保在配置文件中正确设置内网IP和主机名。

特别坑的地方:

1. 不能使用公网ip, 就算你把1001/65533给0.0.0.0/0 全部开放端口都没有用, 只能使用内网ip和主机名关联, 用内网ip启动spark

    在/etc/hosts文件:

127.0.0.1 localhost

你的内网ip 你的主机名


    对应的spark-

最低0.47元/天 解锁文章
Apache Spark：在服务器上进行部署与开发环境搭建
DqClojure的博客
10-01 202
通过本文，您已经学会了在服务器上部署和搭建Apache Spark开发环境。现在，您可以开始利用Spark的强大功能进行大规模数据处理Apache Spark：在服务器上进行部署与开发环境搭建。本文将指导您如何在服务器上部署和搭建Apache Spark开发环境。Apache Spark是一个强大的开源分布式计算系统，它提供了高效的数据处理和分析能力。本文将指导您如何在服务器上部署和搭建Apache Spark开发环境。通过本文，您已经学会了在服务器上部署和搭建Apache Spark开发环境。
大数据本地环境搭建03-Spark搭建
最新发布
m0_49620121的博客
02-03 1325
需要提前部署好 Zookeeper/Hadoop/Hive 环境。
基于阿里云服务器搭建完全分布式Hadoop集群+Hive仓库+Spark集群(二)
TYUT__pengkai的博客
01-13 962
使用阿里云服务器搭建完全分布式Hadoop集群、Spark集群、Hive仓库
在阿里云上搭建spark分布式环境。
will
02-10 3041
参考资料：（我觉的参考资料比我的更重要，所以它在前面。）http://www.mak-blog.com/spark-on-yarn-setup-multinode.html张丹阳. 阿里云实现Spark的分布式计算https://www.cnblogs.com/freeweb/p/5773619.html三台EMC服务器，ubentu系统。下载一个putty，做远程连接。第一步：修改/etc/ho...
使用虚拟机从小白开始搭建Spark集群
wy的点滴
10-03 1万+
前言此篇博文记录一个小白如何用虚拟机搭建一个集群的血泪史，用来体验Spark的分布式计算。 在搭建之前，先理清一些概念。 Spark有三种集群搭建方式。分别为 独立集群模式，即standalone模式 搭建在Hadoop生态圈的YARN之上 搭建在Mesos之上 此篇讲述的是第2种。 而第2种集群方式，是建立在第1种之上的。也就是说，搭建了第2钟，就可以同时使用第1、2种了。 YARN是什么？
spark部署报绑定端口失败问题解决
mmyzhenyuanzi的博客
11-17 1451
安装配置spark后，启动spark集群，报错如下 16/03/30 14:33:02 WARN util.Utils: Service 'sparkMaster' could not bind on port 7077. Attempting port 7078. 16/03/30 14:33:02 WARN util.Utils: Service 'sparkMaster' could not bind on port 7078. Attempting port 7079. 16/03/30 14:3
在阿里云上搭建 Spark 实验平台
dengxun7056的博客
04-17 433
之前在自己的笔记本上运行 Python 代码，有些要运行一天多，一关机就前功尽弃，很不方便，所以才有租用阿里云服务器的想法，用了同学租的一台用了两天又觉得不够使，索性就自己租了三台，配置如下，三台一共约 320 块。 CPU：1核 内存：2048 MB 操作系统：Ubuntu 14.04 64位 带宽计费方式：按固定带宽 当前使用带宽：1Mbps 实例规格：ecs...
阿里云ECS单机部署Spark
话数Science
11-06 206
​阿里云ECS单机部署Spark， Spark Web UI 中的 Storage Memory 413.9 MiB 计算逻辑
阿里云搭建完全分布式
weixin_50911786的博客
06-03 1690
阿里云ECS搭建完全分布式
阿里云学生机搭建spark、hadoop集群（踩坑之路）
bigdatar的博客
04-04 3085
服务器：三台阿里云学生机（三个账号，都在华南1c）系统：ubuntu一、通过外网ip登录服务器需要修改安全组,出入方向都一样，都加入这两条。为何加这两条后续慢慢说明。第一条安全组功能之一就是为了能够本地ssh到服务器。（网上第一条几乎所有的端口配置都是22/22，后续解释为何改成1/65000）授权策略协议类型端口范围授权类型授权对象描述优先级创建时间操作允许自定义 TCP1/65000地址段访问...
阿里云和腾讯云搭建Hadoop、Spark集群
qq_41153405的博客
08-12 1629
前言 Linux操作系统为CentOS7 ，与CentOS6以及Ubuntu命令有稍许不同； 在创建hadoop用户之后，所有的操作都是使用hadoop用户去操作。当然可以使用root已经其他用户去操作，但非root操作注意权限问题； jdk需要1.8以上，安装的Spark和Hadoop需注意他们的版本依赖关系，可以去官网查看； 安装包 jdk1.8.0_201+hadoop-2.6.5+sca...
Spark学习系列——在虚拟机上搭建 Spark 集群的两种方法
热门推荐
u012604314的博客
06-07 1万+
一、概述        对于想学习 spark 集群搭建及应用的人来说，专门买多台物理主机往往成本太高，其实我们只需要利用虚拟机（我用的是 VMWare）搭建多台虚拟主机即可。在学习过程中，在网上搜了各种资料，参考了很多优秀的博客，发现在虚拟机上搭建 spark 集群主要有两种方法。第一种是充分利用 VMWare 的虚拟机克隆功能，只需要配置好一台主机，直接克隆生成其他主机并修改少量配置即可
云服务器搭建Spark集群
weixin_44911248的博客
10-28 707
参数 3 含义：指定保存 Application 历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。需要注意的是，增加保留的应用程序数量将会增加 Spark 历史服务器的磁盘和内存使用量，因为它需要存储更多的元数据和日志信息。因此，在增加这个值时，你需要确保你的系统有足够的资源来支持这么做。参数 3 含义：指定保存 Application 历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
Spark遇到的两三事以及阿里云搭建spark集群的大坑
zh_wang的博客
12-02 1182
1）错误代码如下： //distinctsubject是对应学科名的rdd数组。 val distinctsubject: RDD[String] =allsubject.distinct() //这个思路是将rdd中的字符串取出来，一个个用作筛选分组。 distinctsubject.foreach(dsbj=>{ //逐个筛选出每个学科对应老师的数据（take是一个action，...
基于云创部署spark
m0_61601582的博客
03-14 2594
学习目标： 搭建spark2.4.0并用jsp查看master、slave1、slave2上的进程 学习内容： 搭建spark 2.4.0 学习时间： 周一至周五晚上 7 点—晚上9点 周六上午 9 点-上午 11 点 周日下午 3 点-下午 6 点 学习产出： 这次搭建是基于云创Hadoop大数据平台，并且已经起好hadoop的进程 1.将spark2.4.0下载并解压 scp-rroot@10.30.56.2:/usr/local/spark*/usr tar vxfz ...
[Kafka与Spark集成系列四] Spark运行结构
朱小厮的博客
08-26 1657
在分布式环境下，Spark集群采用的是主从架构。如下图所示，在一个Spark集群中，有一个节点负责中央协调，调度各个分布式工作节点，这个中央协调节点被称为驱动器（Driver）节点，与之对应的工作节点被称为执行器（Executor）节点。驱动器节点可以和大量的执行器节点进行通信，它们也都作为独立的进程运行。驱动器节点和所有的执行器节点一起被称为一个Spark应用（Application)。 ...
腾讯云服务器下利用 Docker 极速搭建 Spark 集群和 HDFS 集群
Harrytsz的博客
03-25 3416
搭建 Spark 和 hdfs 的集群环境会消耗一些时间和精力，处于学习和开发阶段的同学关注的是 Spark应用的开发，他们希望整个环境能快速搭建好，从而尽快投入编码和调试，今天咱们就借助 Docker 容器，极速搭建和体验 Spark 和hdfs 的集群环境. 实战环境信息 以下是本次实战涉及的版本号： 操作系统：腾讯云 Ubuntu 服务器 hadoop：2.8 Spark：2.3 docker：17.03.2-ce docker-compose：1.23.2 极速搭建 Spark 集群和 hdfs
租服务器跑代码、pycharm连接服务器跑代码、Xshell连接服务器运行代码
我的个人博客
06-18 3977
租服务器跑代码网上最简，如何租用云服务器、按时按量租用服务器、服务器推荐、租用GPU、pycharm连接服务器跑代码、pycharm远程连接服务器，Xshell连接服务器运行代码
Cannot assign requested address: Service 'sparkMaster' failed after 16 retries (starting from 7077)!
chenxb1986的博客
11-20 5783
spark-2.1.1-bin-hadoop2.7安装完成在启动时出现：“ Exception in thread “main” java.net.BindException: Cannot assign requested address: Service ‘sparkMaster’ failed after 16 retries (starting from 7077)! Consider e...
阿里云服务器CentOS 7.2搭建Hadoop伪分布式环境指南
本文档详细介绍了如何在阿里云服务器上的CentOS 7.2环境中搭建Hadoop的伪分布式环境，以便于学习和调试。首先，我们明确了Hadoop的作用，它是Apache基金会开发的分布式系统基础架构，特别适用于处理大规模数据集和...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值