spark-shell 启动失败，显示端口问题

最新推荐文章于 2023-09-14 20:50:58 发布

weixin_30311605

最新推荐文章于 2023-09-14 20:50:58 发布

阅读量274

点赞数

文章标签：大数据 shell

原文链接：http://www.cnblogs.com/sunt9/p/6686004.html

版权

应该是端口问题，找不到spark节点。手动设置端口号

spark-shell --conf spark.shuffle.service.enabled=true --conf spark.replClassServer.port=15002

转载于:https://www.cnblogs.com/sunt9/p/6686004.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30311605

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

spark-shell与spark-sql的访问hive

H_hanwen的博客

11-22

2527

1.spark-shell的使用：安装完spark之后，将spark/bin的路径配置到本地文件，即可不需要进入spark/bin目录下启动任务 1）直接打开，运行以下命令会发现无法访问hive表的数据： spark-shell --master local[2] spark.sql("show tables").show() 2）将hive/conf目录下的hive-site....

【Spark】Spark安装和Spark-shell使用

晚风中的自由

10-27

1431

一、spark的安装模式 1、本地模式（local），单点模式，非分布式模式，只需要用到一台机器； 2、standalone模式，是spark自己实现的独立调度器，它是一个资源调度框架；Spark可以通过部署与Yarn的架构类似的框架来提供自己的集群模式，该集群模式的架构设计与HDFS和Yarn大相径庭，都是由一个主节点多个从节点组成，在Spark 的Standalone模式中，主节点为mas...

参与评论您还未登录，请先登录后发表或查看评论

Spark启动过程中遇到的错误 ./spark-shell –master spark://node001:7077

01-20

20/02/20 19:52:17 ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.at.org.apache.spark.memory.Uni

spark-1.6.3源码---启动spark shell报错

Ms_WangH

07-25

199

启动spark-shell报错: log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http:/...

spark页面8080端口访问出错的问题

qq_38709565的博客

03-23

6247

我在安装完spark集群后，在主节点上查看spark的UI界面：http://master:8080页面访问不了！！！通过上网上查看。发现8080端口会和其他端口共用，即会产生冲突，其实就是端口占用了。因此我们只需要将spark配置文件中的访问端口改成其他的就ok了！因此，我们打开主节点的配置文件：“/usr/local/spark/sbin/start-master.sh”文件： vim...

spark-shell --conf

weixin_30808253的博客

11-21

680

1 spark-shell --conf -h 2 Usage: ./bin/spark-shell [options] 3 4 Options: 5 --master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. 6 --deploy-mode DEPLOY_...

单机spark绑定端口

岸芷汀兰

04-09

1152

在IDE里配置SPARK_MASTER_IP=127.0.0.1 SPARK_LOCAL_IP=127.0.0.1

01-启动spark shell

我心自在天的博客

07-29

1367

启动spark shell Spark 和 Hadoop的交互 Spark部署模式包括： Local 模式：单机模式 Standlone模式：使用Spark自带的简单集群管理器 YARN 模式：使用YARN作为集群管理器 Mesos 模式：使用Mesos作为集群管理器启动spark shell 在SPAEK-SHELL中运行代码 Spark Shell提供了简单的方式来学习Spark API Spark Shell 可以以实时、交互的方式来分析数据 Spark Shell 支持Scala和Pytho

【大数据学习】之用spark-sql和spark-shell操作hive里面的表数据

奔走觅衣粮de博客

03-15

2555

SparkSQL与Hive的交互有两种方式，一种是spark-sql,另一种是spark-shell。要注意，访问hive前要把$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf，还有必须要启动hdfs，因为hive的数据是存放在hdfs上的，既然要访问hive所以需要启动hdfs。一、启动spark-sql连hive 1、首先要配置spark...

Spark基础01 简介框架体系安装部署 spark-shell使用 scala,Java,Lambda分别编写WordCount 打包运行 Debug运行

湖中屋的博客

07-07

291

spark简介快速、通用、可扩展的大数据分析引擎 (Java, Scala, Python, R and sql) 既可以做离线计算,也可以做实时计算提供了统一的大数据处理解决方案可以运行在各种资源调度框架和读写多种数据源支持的多种部署方案丰富的数据源支持。 1.MR只能做离线计算，如果实现复杂计算逻辑，一个MR搞不定，就需要将多个MR按照先后顺序连成一串，一个MR计算完成后会将计算结果写入到HDFS中，下一个MR将上一个MR的输出作为输入，这样就要频繁读写HDFS，网络IO和磁盘IO会成为性

Spark-shell批量命令执行脚本的方法

01-10

批量执行spark-shell命令，并指定提交参数 #!/bin/bash source /etc/profile exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF import org.apache.spark.sql.SaveMode sql(set hive.exec.dynamic.partition=true

Spark-shell运行测试

热门推荐

stardhb的专栏

01-04

1万+

spark-shell和spark-submit参数

Spark从入门到精通第二课：Spark产生背景之Spark VS MR && SparkConf/SparkContext && Spark-shell

曹利荣的博客

03-02

1536

1、产生背景 1、产生背景： MapReduce的差劲促使了spark的产生。 1）编程： MR只有只提供给map和reduce方法处理数据，而spark中提供了80多个。这对编程产生了质的影响：就比如对于一个wordcount，既要写Map,又要写Reduce和驱动类。而spark只需要一个...

启动spark服务，解决端口占用的踩坑过程及使用Phoenix操作hbase数据表

阿啄debugIT

07-01

1772

前言在尝试运行sparksql，发现spark服务没有启动，且发现其端口占用！问题处理过程在liunx系统中，搜索以下是否有spark服务？ [root@A ~]# ps -ef|grep spark root 16970 25666 0 18:19 pts/2 00:00:00 grep --color=auto spark 没有，就去启动spark服务启动spark服务 [root@A sbin]# cd /home/software/spark2.2/sbi

Spark配置参数

Camu7s的专栏

01-26

3601

以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。例如IP地址、端口等信息日志

Spark Conf配置用法

奔赴彼岸

01-15

2914

Spark 2.0.0 在Spark2.0之后，Spark Session也是Spark 的一个入口，为了引入dataframe和dataset的API，同时保留了原来SparkContext的functionality，如果想要使用 HIVE，SQL，Streaming的API，就需要Spark Session作为入口。 SparkSession spark = SparkSession.builder().appName( "demo_spark" ).enableHiveSupport().ge

spark常见端口号

Peanut的博客

09-18

8976

1）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888） 2）Spark Master Web端口号：8080（类比于Hadoop的NameNode Web端口号：9870(50070)） 3）Spark Master内部通信服务端口号：7077 （类比于Hadoop（高版本）的8020(9000)端口） 4）Spark查看当前Spark-shell运行任务情况端口号：4040 5）Hadoop YARN任务运行情况查看端口号：8088 ...

spark-shell web页面

07-27

Spark-shell web页面是Spark Shell的一个交互式web用户界面，可以通过浏览器访问并与...请注意，启动Spark-shell web页面需要确保本地没有其他进程占用4040端口。如果该端口已被占用，您可以尝试使用其他可用的端口。