Spark addFile()和hdfs上传文件对比

最新推荐文章于 2023-02-09 15:11:13 发布

jin_tmac

最新推荐文章于 2023-02-09 15:11:13 发布

阅读量1k

点赞数 2

分类专栏： Spark 机器学习与数据挖掘文章标签： hdfs spark hadoop

本文链接：https://blog.csdn.net/jin_tmac/article/details/126014279

版权

机器学习与数据挖掘同时被 2 个专栏收录

27 篇文章 1 订阅

订阅专栏

Spark

6 篇文章 0 订阅

订阅专栏

在用spark进行集群分布式模型打分等操作时，通常需要把模型文件或者自定义类d等文件上传，文件上传后，我们可以在Worker的工作节点中通过SparkFiles.get函数获取上次文件后的文件路径。可以有两种方式上传文件:sc.addFile和hdfs 上。
1、sc.addFile()

spark = SparkSession.builder.config(conf=conf).enableHiveSupport().getOrCreate()
sc = spark.sparkContext
sc.addFile("/fintech/jinxb/model_V202207_long.tar.gz")

这个方式适用于比较小的模型文件，如果模型文件比较大（这个界限不确定，我使用的集群200M的文件可以成功，700M的就失败），可能会出现节点网络通信等问题
在这里插入图片描述
2、上传hdfs进行配置
首先将模型文件上传至hdfs

hdfs dfs -put model_V202207_long.tar.gz

然后在spark-submit 处增加

--files hdfs://nameservice1/user/$USER/model_V202207_long.tar.gz

就可以在各个集群节点通过SparkFiles.get()正常访问到模型文件了。

优惠劵

jin_tmac

关注关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Spark addFile()和hdfs上传文件对比

在用spark进行集群分布式模型打分等操作时。可以有两种方式上传文件sc.addFile和hdfs上。
复制链接

扫一扫

专栏目录

Spark-Streaming+HDFS实战

12-16

需求说明：从GBIF接口获取数据并处理为HDFS文件并映射为Hive外部表 ## 1. 目标： - 从GBIF（Global Biodiversity Information Facility）接口获取数据。... - 使用Spark Streaming将处理后的数据保存到HDFS文件系统。

C语言基础14——文件操作。文本文件或二进制文件读写。通讯录的改造。文件缓冲区讲解

博客

05-15

4741

目录为什么使用文件？什么是文件？文件的打开和关闭文件指针文件的打开和关闭文件的打开方式流重定义文件文件流文件的顺序读写以字符形式读写文本文件 fputc()函数 fgetc()函数以字符串形式读写文本文件 fputs()函数 fgets()函数格式化读写文件 fprintf()函数 fscanf()函数以数据块的形式读写文件 fwrite()函数 fread()函数三种输入/输出函数的比较改造通讯录文件的随机读写 fsee

参与评论您还未登录，请先登录后发表或查看评论

Spark读取本地文件和HDFS文件

SunnyRivers

01-09

1万+

前言旁边的实习生又一脸懵逼了：Spark有bug，明明我本地/data目录下有test.txt文件，但运行就报错: Caused by: java.io.FileNotFoundException: File file:/data/test.txt does not exist 我一看，原来小伙子使用spark集群模式来读取仅仅在他自己的客户端存放的一个文本文件如何读取本地文件 Spark ...

addFile函数addJar函数

一碗竹叶青的博客

11-04

1408

https://www.iteblog.com/archives/1704.html 我们在使用Spark的时候有时候需要将一些数据分发到计算节点中。一种方法是将这些文件上传到HDFS上，然后计算节点从HDFS上获取这些数据。当然我们也可以使用addFile函数来分发这些文件。 addFile方法可以接收本地文件（或者HDFS上的文件），甚至是文件夹（如果是文件夹，必须是HDFS路径），然后Spark的Driver和Exector可以通过SparkFiles.get()方法来获取文件的绝对路径（Get th

【Spark】Spark读取本地与hdfs文件

littlemichelle

05-24

1万+

https://zhuanlan.zhihu.com/p/26506724

Spark中函数addFile和addJar函数介绍

吟啸徐行

04-04

8580

尊重作者，转载至：https://www.iteblog.com/archives/1704.html 　我们在使用Spark的时候有时候需要将一些数据分发到计算节点中。一种方法是将这些文件上传到HDFS上，然后计算节点从HDFS上获取这些数据。当然我们也可以使用addFile函数来分发这些文件。 addFile addFile方法可以接收

Spark上传数据到hdfs的不同路径中的实现

m0_67549504的博客

02-09

643

Spark上传数据到hdfs的不同路径中的实现

Spark中函数addFile添加tar包

lieying的博客

11-07

838

如果想在pyspark中 import tensorflow 来调用pb模型分布式预测，那么将模型pb全部文件打包成tar包sc.addFile即可，spark会自动解析。

工具类——Spark写入csv文件到HDFS（Java代码）

斯特凡今天也很帅的博客

10-26

1431

spark写入csv到hdfs

Spark执行HiveSQL以及Hive自定义函数

swg321321的博客

06-14

1373

Spark执行HiveSQL，其中包括执行Hive自定义函数。Spark读取文件。包含Spark SQL等生成可执行的RDD，执行优化，Catalog

本地文件上传到HDFS

04-14

Hadoop HDFS的FileSystemAPI操作文件将准备好的文件上传到hdfs的user/hadoop/music文件下

spark-scala-hdfs-docker-example：使用Scala的Spark将文件写入HDFS，并使用Docker“ scale”自动添加新的Spark工人

02-19

使用Scala的Spark可以使用Docker“ scale”自动添加新的Spark工人，从而将文件读/写到HDFS 默认值：工作区目录位于/ app Jar文件位于/app/app.jar。主类是app.Main 如果要在Sparky，Scala，远程Spark Master...

HDFS文件的上传

05-21

hdfs 文件的上传，hdfs fs -put /文件名

java 中Spark中将对象序列化存储到hdfs

08-30

主要介绍了java 中Spark中将对象序列化存储到hdfs的相关资料,需要的朋友可以参考下

基于HDFS、Spark和Hive大数据企业级框架

04-03

为了降低项目开发复杂度，减少开发成本，开发的大数据企业级框架，支持用配置yml定义数据流，支持HDFS、SparkSQL和HiveQL。

feature_importances_ - 从决策树到gbdt

最新发布

06-28

### 回答1： Spark可以通过以下两种方式读取本地文件和HDFS文件： 1. 读取本地文件可以使用SparkContext的textFile()方法读取本地文件，例如： ``` val sc = new SparkContext("local", "read local file") val rdd = sc.textFile("file:///path/to/local/file") ``` 其中，"file://"表示读取本地文件，"/path/to/local/file"是本地文件的路径。 2. 读取HDFS文件可以使用SparkContext的textFile()方法读取HDFS文件，例如： ``` val sc = new SparkContext("local", "read hdfs file") val rdd = sc.textFile("hdfs://namenode:port/path/to/hdfs/file") ``` 其中，"hdfs://"表示读取HDFS文件，"namenode"是HDFS的名称节点，"port"是HDFS的端口号，"/path/to/hdfs/file"是HDFS文件的路径。 ### 回答2： Spark是一个开源的分布式计算引擎，可以快速处理大量数据。Spark可以读取本地文件和HDFS文件，下面分别介绍一下。 1、读取本地文件 Spark可以通过本地文件系统读取文件，可以使用以下代码： val inputFile = "file:///path/to/file" val data = sc.textFile(inputFile) 其中，inputFile是要读取的文件的路径，可以是绝对路径或相对路径。file://表示文件协议，可以在路径前加上file://来指定文件协议。sc是SparkContext对象，用于与Spark集群进行通信。 2、读取HDFS文件 Spark也可以通过Hadoop分布式文件系统（HDFS）读取文件，可以使用以下代码： val inputFile = "hdfs://namenode:port/path/to/file" val data = sc.textFile(inputFile) 其中，inputFile是要读取的文件的路径，namenode是HDFS的名称节点，port是HDFS的端口号，可以在路径前加上hdfs://来指定HDFS协议。需要确保Spark集群和HDFS集群之间的网络连接是可用的。如果Hadoop配置过程中设置了HADOOP_CONF_DIR环境变量，则Spark会自动加载Hadoop配置文件，否则需要在SparkConf对象中指定Hadoop配置文件的路径。以上是关于Spark读取本地文件和HDFS文件的介绍，Spark可以快速处理大规模数据，有很好的分布式计算能力。如果想进一步学习Spark，可以深入研究RDD、DataFrame、Spark SQL等模块，掌握Spark的高级功能。 ### 回答3： Spark是一个广泛使用的分布式计算引擎，支持从本地磁盘读取文件和从分布式文件系统HDFS读取文件。本文将详细介绍Spark如何读取本地文件和HDFS文件。 1. 读取本地文件在Spark中，可以使用以下语句读取本地文件： ``` val textFile = spark.read.textFile("file:///path/to/your/local/file") ``` 其中，"file://"是协议头，表示文件协议，"path/to/your/local/file"是本地文件的路径。在实际应用中，可以使用绝对路径或相对路径。 2. 读取HDFS文件读取HDFS文件需要先在Spark环境中配置Hadoop的相关参数。在Spark程序中配置Hadoop参数可以通过以下两种方式： (1) 通过SparkConf配置 ``` val conf = new SparkConf().setAppName("ReadHdfsFile") conf.set("fs.defaultFS", "hdfs://namenode:9000") val sc = new SparkContext(conf) val textFile = sc.textFile("hdfs://namenode:9000/path/to/your/hdfs/file") ``` 其中，fs.defaultFS是Hadoop文件系统的默认URI，用于在Hadoop集群中访问HDFS文件。本例中，将fs.defaultFS设置为"hdfs://namenode:9000"，其中namenode代表的是HDFS的名称节点的主机名，9000是HDFS的默认端口。 (2)在spark-defaults.conf或yarn-site.xml文件中添加参数在spark-defaults.conf中添加： ``` spark.hadoop.fs.defaultFS hdfs://namenode:9000 ``` 在yarn-site.xml中添加： ``` <property> <name>yarn.resourcemanager.hostname</name> <value>node1</value> </property> ``` 通过以上配置，我们就可以通过以下代码在Spark中读取HDFS文件： ``` val textFile = spark.read.textFile("hdfs://namenode:9000/path/to/your/hdfs/file") ``` 以上就是Spark读取本地文件和HDFS文件的方法。无论是读取本地文件还是读取HDFS文件，Spark都提供了简便、高效的接口，使开发人员能够轻松地处理大量数据，进行分布式计算。

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交