Idea本地运行spark，操作HDFS（spark-without-hadoop版的spark）

最新推荐文章于 2023-10-25 12:56:00 发布
最新推荐文章于 2023-10-25 12:56:00 发布
阅读量4.2k 收藏 6
点赞数 1
分类专栏： 大数据 文章标签： spark hdfs hadoop 大数据 idea
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/neve_give_up_dan/article/details/104185374
版权

操作

一般大家都是用的spark-x.x.x-bin-hadoop2.x的spark

而我用的是spark-2.1.0-bin-without-hadoop,所以我们要使用HDFS的时候，就必须让程序能够找到Hadoop的HDFS

所以我们不仅要像一般的Idea运行集群操作一样给工程添加
$SPARK_HOME/jars到工程的Libraries，参考
IDEA开发Spark应用实战(Scala)_推荐
Window环境下使用IntelliJ IDEA调试Spark Application

在这里插入图片描述

而且我们还要导入hadoop的包
通过文章Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream的举一反三

$HADOOP_HOME/share/hadoop/common/lib/*
$HADOOP_HOME/share/hadoop/common/*

$HADOOP_HOME/share/hadoop/hdfs/*
$HADOOP_HOME/share/hadoop/hdfs/lib/*

$HADOOP_HOME/share/hadoop/yarn/lib/*
$HADOOP_HOME/share/hadoop/yarn/*

$HADOOP_HOME/share/hadoop/mapreduce/lib/*
$HADOOP_HOME/share/hadoop/mapreduce/*

$HADOOP_HOME/share/hadoop/tools/lib/*

展示以及验证

在这里插入图片描述

小缺憾

一般我们的默认路径，图中未注释的样子，和图中注释的样子，是等价的HDFS的路径，但是这windows的idea还是做不到
在这里插入图片描述

小发现

用户所有者

HDFS上文件的owner是我们windows的用户名，因为我的用户名是单林敏，所以在HDFS上会乱码成如下图
在这里插入图片描述

离线不可以直接连接HDFS，但是可以打Jar包

在这里插入图片描述

生成的jar包真大

在这里插入图片描述

生成这么大的jar包导致出了大问题

见spark-submit运行idea生成的jar包无法找到主类

参考文章

Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream

单林敏
关注
专栏目录
idea用spark本地操作hdfs集群
doujiayun3939的博客
11-14 3966
在windows开发机上使用spark的local模式读取远程hadoop集群中的hdfs上的数据，这样的目的是方便快速调试，而不用每写一行代码或者一个方法，一个类文件都需要打包成jar上传到linux上，再扔到正式的集群上进行测试，像功能性验证直接使用local模式来快速调测是非常方便的，当然功能测试之后，我们还需要打包成jar仍到集群上进行其他的验证比如jar包的依赖问题，这个在local模式...
Windows PC上创建大数据职业技能竞赛实验环境之五--hadoop、hive和spark编程
liu9ang的博客
04-14 899
前述，我们在Windows WSL上，通过Docker容器技术实现了Hadoop集群环境，现在看看利用现有集群环境进行编程开发。 1 设置容器开启时自运行SSH服务 参照docker中安装Ubuntu无法在启动时运行ssh服务的解决方案 - llCoding - 博客园 (cnblogs.com)，在我们的hadoop-spark集群镜像中添加如下内容： vim /root/startup_run.sh chmod +x /root/startup_run.sh 编写startup_run.sh
spark-2.1.0-bin-without-hadoop
10-26
上传大小限制了，分为两段，part2去我的资源中找一下。
spark-2.1.0-bin-without-hadoop.tgz
06-20
Linux系统 大数据开发 spark-2.1.0-bin-without-hadoop.tgz
spark-2.4.5-bin-without-hadoop.tgz
03-15
spark-2.4.5-bin-without-hadoop.tgz spark最新已编译好的包，不包含hadoop jar。 使用时需要在spark-env.sh中配置 export SPARK_DIST_CLASSPATH=$(hadoop --config /opt/bigdata/hadoop-2.9.2/etc/hadoop classpath) export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
spark-3.0.0-bin-without-hadoop.tgz
12-30
spark
spark-without-hadoop 运行时ClassNotFoundException报错解决办法
ChengYanan的博客
09-15 2518
下载的spark-3.1.2-bin-without-hadoop.tgz。 1.ClassNotFoundException: org.apache.log4j.spi.Filter 启动刚下载的spark就报错： $ ./bin/spark-shell Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefF
hive报错 spark_Hive on Spark安装配置详解（都是坑啊）
weixin_39807541的博客
12-20 849
简介本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。背景Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均...
Hadoop-HDFS
pengfeijiuwanli的博客
10-01 626
Hadoop 一、概述 1.1 大数据概念 大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。——来自研究机构Gartner 1.2 大数据面临问题 存储：单机存储有限，如何解决海量数据存储？ 分析：如何在合理时间范围内对数据完成成本运算？ 1.3 大数据的特点 4V 特性 Volume 数量Velocity多样 Variety 时效...
Vbox Ubuntu spark大数据可视化实验
weixin_52985165的博客
10-28 1302
Vbox Ubuntu spark大数据可视化实验
spark-3.1.3-bin-without-hadoop.tgz
05-20
Spark安装包：spark-3.1.3-bin-without-hadoop.tgz
spark-2.4.5-bin-without-hadoop.tgz (关注“吾说”（作者）一起学习大数据.rar)
04-24
spark-2.4.5-bin-without-hadoop.tgz (关注“吾说”（作者）一起学习大数据.rar) 一站式搭建sparkstreaming环境见该博客https://blog.csdn.net/wrwhahah/article/details/105716359
spark-2.3.0-bin-hadoop2-without-hive
03-21
spark-2.3.0-bin-hadoop2-without-hive.spark2.3版本源码编译不含hive jar包的安装包。用于安装hive on spark
原生spark与pyspark使用比较
qq_45014844的博客
08-05 6465
pyspark与原生spark（scala）比较 在学习完spark这个优秀的计算框架后，因为当时的学习使用了python api对spark进行交互，编写spark的原生语言为sacla，所以，在简单的自学完scala后，再次使用scala对spark进行交互，也可称为scala初体验~ 本篇文章主要以使用python和scala分别编写spark程序实现wordcount单词计数，来对pyspark和原生spark进行比较 1.spark计算框架介绍 Spark是UC Berkeley AMP
spark-3.1.3-bin-without-hadoop 配置的关键步骤（有步骤省率）
x_hxiao的博客
03-28 410
1 环境变量配置（.bashrc(普通用户模式)）----spark-env.sh 文件。---- workers 文件配置。4 查看端口开启命令。
Windows下使用spark-without-hadoop版本安装
最新发布
cloud315
10-25 1052
安装spark-without-hadoop时出现下面异常的解决方案 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
【Spark学习笔记】Spark访问hdfs
不可能打工的博客
06-22 3209
本篇来介绍一下通过Spark来读取和HDFS上的数据，主要包含四方面的内容：将RDD写入HDFS、读取HDFS上的文件、将HDFS上的文件添加到Driver、判断HDFS上文件路径是否存在。 本文的代码均在本地测试通过，实用的环境时MAC上安装的Spark本地环境，详细环境配置教程参考：https://www.jianshu.com/p/5ac3e97c409e 1、启动Hadoop 首先启动咱们...
windows10下使用spark-2.3.0-bin-without-hadoop相关问题
ryanzhongj的博客
06-13 3077
1、启动spark-shell报错：Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger at java.lang.Class.g...
spark-3.2.0-bin-without-hadoop.tgz
08-15
spark-3.2.0-bin-without-hadoop.tgz是Apache Spark 3.2.0的一个发行版本，它是不包含Hadoop的二进制压缩包。Spark是一个使用多种编程语言进行大数据处理和分析的开源集群计算框架。它提供了一个高度可扩展的计算引擎，能够处理大规模数据集并支持实时处理、机器学习和图形处理等任务。 通常情况下，Spark需要与Hadoop配合使用，以便在Hadoop分布式文件系统（HDFS）上读取和写入数据。然而，并非所有的Spark应用都需要Hadoop。有些情况下，用户可能已经有了其他的分布式文件系统或者他们只是希望在本地文件系统上运行Spark应用。对于这些情况，Spark提供了不包含Hadoop的发行版本，如spark-3.2.0-bin-without-hadoop.tgz。 当你下载并解压这个压缩包时，你将得到一个可以在不安装Hadoop的情况下直接运行的Spark发行版。你可以使用Spark提供的API来编写和运行Spark应用程序。尽管没有Hadoop，但你仍然可以使用本地文件系统或其他支持的分布式文件系统进行数据读取和写入操作。 总之，spark-3.2.0-bin-without-hadoop.tgz提供了一个独立的、不需要Hadoop作为底层的Spark发行版本。它适用于那些希望在不安装Hadoop的情况下运行Spark应用程序的用户。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值