IDEA可以正常运行，但是spark-shell不行

最新推荐文章于 2022-02-07 09:56:48 发布
最新推荐文章于 2022-02-07 09:56:48 发布
阅读量1k 收藏
点赞数
分类专栏： spark 文章标签： IDEA spar-shell 运行 异常
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tuntunwang/article/details/51320049
版权

有时候，明明在IDEA下可以运行，但是到spark-shell下就不行了


可以发布一个jar包，然后启动shell的时候导入进去


其他所有的依赖以及所以的文件都已经导入


但是还要写import语句
【大数据入门核心技术-Spark】（七）执行Spark任务的两种方式:spark-submit和spark-shell
03-17 1933
引入：spark-shell交互式编程确实很方便我们进行学习测试，但是在实际中我们一般是使用IDEA开发Spark应用程序打成jar包交给Spark集群/YARN去执行，所以我们还得学习一个spark-submit命令用来帮我们提交jar包给spark集群/YARN。引入：之前我们使用提交任务都是使用spark-shell提交，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使用！
Spark-Shell 详解-源码分析
loki的博客
01-12 518
第一步：安装spark 略。 第二步：下载saprk源码 下载地址：https://github.91chifun.workers.dev//https://github.com/apache/spark/archive/v2.4.0.zip 下载解压到指定目录，并在idea中导入： 注意：idea要配置jdk，并安装scala插件，配置scala支持 第三步：源码解读 项目源码结构： 3.1 启动脚本-源分析 首先查看bin目录下的spark-shell脚本： 图中
spark:--spark-shell运行简单语句、用Idea编写例子--8
花满楼
02-06 961
spark集群启动：MASTER=spark://host:port ./spark-shell ********************************** 在终端：hadoop fs -tail /lab/SogouQ.full *********************************** scala> val data = sc.textFile("hdfs://s
好程序员大数据教程：SparkShell和IDEA中编写Spark程序
weixin_33763244的博客
05-28 236
好程序员大数据教程：SparkShell和IDEA中编写Spark程序，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用Scala编写Spark程序。spark-shell程序一般用作Spark程序测试练习来用。spark-shell属于Spark的特殊应用程序，我们可以在这个特殊的应用程序中提交应用程序spark-shell启动有两种模...
Spring Shell 在IDEA中运行为什么不起作用？
chonywang的博客
05-15 880
有的时候，我们在会idea编辑器中使用如下代码来接受程序启动后的参数： @Component public class StateMachineCommands extends AbstractStateMachineCommands<States, Events> { @CliCommand(value = "sm event", help = "Sends an event to a state machine") public St
IDEA开发spark-问题
u012510757的博客
08-06 126
1.消除info (91条消息) 解决 idea 中 spark info 信息的有效方法_不贪吃的猪-CSDN博客 2.ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.解决 Hadoop：开发机运行spar.
spark 应用调试(idea 环境)
Just a Benginner
07-15 1496
spark应用调试(idea 环境) spark shell可以比较方便的分步执行调试spark应用程序，但有时候不是很方便。下面介绍一种直接在idea中调试spark程序的方法。 maven 新建工程 ​ 这个不多赘述，注意一点是pom文件中把依赖的spark的scope的provided去掉，因为我们要在idea中直接运行，不会用spark-submit。 &lt;d...
Spark-shell和Spark-submit
feizuiku0116的博客
02-07 409
Spark支持多种集群管理器（Cluster Manager）,取决于传递给SparkContext的MASTER环境变量的值：local、spark、yarn，区别如下： 一、Spark-shell 引入：之前我们使用提交任务都是使用spark-shell提交，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使用！ 实例：spark-shell可以携带参数 spark-shell --mast
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
最新发布
08-28
5. **运行Spark**: Spark可以通过命令行工具启动，例如`spark-shell`（交互式Spark会话）或`pyspark`（Python版本的交互式会话）。对于应用程序开发，可以使用Scala、Java、Python或R编写代码，然后通过`spark-...
SparkCore：SparkContext/spark-shell详解，IDEA构建第一个Spark程序
11号车厢
07-31 860
文章目录1、SparkContext详解2、IDEA构建Spark应用程序2.1 安装JDK1.8和Maven3.6.12.2 打开IDEA新建Project2.3 修改pom.xml文件2.3 开发第一个Spark应用程序WordCount3、spark-shell详解 1、SparkContext详解 打开官网： 查看对应版本详细spark信息入口 Documentation -->ol...
使用IntelliJ IDEA编写SparkPi直接在Spark中运行
lqf的专栏
10-26 7699
使用IntelliJ IDEA编写Scala在Spark中运行环境说明：hadoop-2.2.0+spark-1.1.0 hadoop是完全分布式，spark是standalone。在master节点master1上安装了IntelliJ IDEA。1、开启spark进入到spark的sbin目录,./start-all.sh命令开启spark。 注意：因为演示的是SparkPi demo，无需
Spark 05 spark-shell 使用
lihaogn的博客
08-28 1026
1 spark-shell 1）将hive-site.xml文件复制到spark/conf/中，实现spark访问hive 2）启动spark-shell spark-shell --master local[2] or spark-shell --jars jar包 --master local[2] 使用 spark.sql(&quot;sql 语句&quot;).show 4）启动spark-sql...
spark运行在windows环境的idea遇到的问题记录
wangsg2014的专栏
01-26 1894
关于在windows环境开发spark时，遇到的一些环境问题，作一下记录 这次只了两点记录，如下： １、Couldn't find pwsh.exe or powershell.exe ２、Could not locate executable null\bin\winutils.exe in the Hadoop binaries 前提：由于机器使用已久，申请了一台新的笔记本 ，各种环境都需要重新安装，确实是头大啊，需要准备各种安装软件 一、问题1的解决方案 1、新本到手后，下载了新版
spark-shell、spark架构设计、使用idea初始化spark运行环境、Spark RDD
qzc_root的博客
05-06 336
文章目录spark-shellspark架构设计使用idea初始化spark运行环境Spark RDD spark-shell spark自带的交互式工具 val rdd1 = sc.parallelize(1 to 10) rdd1.collect //res0: Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 10) rdd1.partitions.size //res1: Int = 1 val rdd2 = sc.makeRDD(5 to 15) rdd2
win下Sparksql 无法获取文件权限问题
weixin_45682234的博客
06-29 899
Caused by: java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F D:\tmp\hive Caused by: java.lang.RuntimeException: Error while running command to get file permissi
启动Spark Shell,在Spark Shell中编写WordCount程序，在IDEA中编写WordCount的Maven程序，spark-submit使用spark的jar来做单词统计
涂作权的博客
07-06 3832
1.启动Spark Shellspark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序。要注意的是要启动Spark-Shell需要先启动Spark-ha集群，Spark集群安装和部署参考：http://blog.csdn.net/tototuzuoquan/article/details/744815701.2.1、启动
使用spark读写ftp遇到的问题
！WAIVE的博客
12-12 1385
LINUX安装 1.环境准备 1.1 安装 VSFTPD 使用 yum 安装 vsftpd yum -y install vsftpd 1.2 启动 vsftpd 安装完成后，启动 FTP 服务(关闭防火墙或者配置运行通过防火墙)： service vsftpd restart 启动后，可以看到系统已经监听了 21 端口： netstat -nltp | grep 21 此时，访问 ftp:...
用intellij idea写spark代码
jxhaha的博客
12-12 5094
最近在研究spark源代码，做一些与spark mlib相关的工作，需要需要自己写一些相关的spark代码。故整理一下。 首先，下载intellij idea 官方程序，我这里下载的是其社区版（免费）。接着下载spark2.0源代码以及spark2.0 预编译版本。再下载并安装scala程序。当然如果你没有安装java sdk的话，那你需要安装java sdk（这些基本安装就不介绍了）。接下来开始
在IDEA里运行spark
热门推荐
啊帅和和的博客
11-03 1万+
最近在学spark，想在本地的IDEA里配置关于spark的环境，然后在本地运行spark程序，一路上跌跌撞撞遇到很多坑，看了很多的博客，虽然也有很多搭建的过程，但我遇到了太多的问题，所以特此记录一下。 文章里所提到的各类配置文件的下载网址在最后。 在IDEA里运行spark所需要的前期准备事项： 1.本地电脑里已经配置完成Scala 2.本地电脑里已经配置完成maven 3.本地电脑里已经配置完成Hadoop （这里推荐本地电脑里配置这几种版本的Hadoop： 1、Hadoop-2.6.3 2、Hadoo
spark解析json格式文件(spark-shell和idea scala版本)
03-16
以下是使用Spark Shell和IDEA Scala版本解析JSON格式文件的步骤： 1. 在Spark Shell中，首先需要创建一个SparkSession对象： ``` val spark = SparkSession.builder().appName("JSONParser").master("local[*]")....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值