sc.textFile()默认读取本地系统文件还是HDFS系统文件？

已于 2022-03-11 23:49:52 修改
阅读量3.6k 收藏 2
点赞数
分类专栏： 探索大数据世界 文章标签： spark-shell
于 2022-03-11 23:01:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/howard2005/article/details/123434871
版权
本文通过实验详细探讨了以`--master=local[*]`和`--master=spark://master:7077`方式启动Spark Shell时，默认读取文件的位置。结论是：`local[*]`模式下可以读取本地文件，不加路径前缀即可；而`spark://master:7077`模式只能访问HDFS，读取文件需明确指定HDFS路径。
摘要由CSDN通过智能技术生成

文章目录

一、Spark集群拓扑

在这里插入图片描述

二、做好准备工作

（一）准备本地系统文件

  • 在/home目录里创建test.txt
    在这里插入图片描述
    在这里插入图片描述

（二）准备HDFS系统文件

  • 将test.txt上传到HDFS系统的/park目录里
    在这里插入图片描述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
howard2005
关注
专栏目录
订阅专栏
spark 读取多个路径_spark中读取路径下的多个文件（spark textFile读取多个文件）...
weixin_39538877的博客
12-19 1401
1.spark textFile读取File1.1 简单读取文件val spark = SparkSession.builder().appName("demo").master("local[3]").getOrCreate()// 读取hdfs文件目录spark.sparkContext.textFile("/user/data")spark.sparkContext.textFile("hd...
sc.textFile的相对路径与绝对路径
微电子学与固体电子学-俞驰
08-03 1224
路径 实际路径 sc.textFile("code/test.csv") /<hive.metastore.warehouse.dir>/code/test.csvon HDFS. sc.textFile("hdfs:///<hive.metastore.warehouse.dir>/code/test.csv") /<hive.metastore.warehouse.dir>/code/test.csvon HDFS...
Spark读取文件的两种方法textFile和wholeTextFiles
给我一点温度
09-09 1万+
sc.textFile() sc.wholeTextFiles() sc.textFile(path)能将path里的所有文件内容读出，以文件中的行作为一条记录的方式。 所有文件的每一行都相当于 List中以 “,”号 隔开的一个元素，因此可以在每个partition中用for i in data的形式遍历处理Array里的数据。 sc.wholeTextFiles(path)返回...
Spark-sql结果保存指定位置
心如止水 宠辱不惊
06-06 8060
//1.读取数据，将每一行的数据使用列分隔符分割 val lineRDD = sc.textFile("hdfs://node1.itcast.cn:9000/person.txt", 1).map(_.split(" ")) //2.定义case class（相当于表的schema） case class Person(id:Int, name:String, age:Int)
spark中的SparkContext实例的textFile使用的小技巧
热门推荐
xiao_jun_0820的专栏
03-12 3万+
网上很多例子，包括官网的例子，都是用textFile来加载一个文件创建RDD，类似sc.textFile("hdfs://n1:8020/user/hdfs/input") textFile的参数是一个path,这个path可以是： 1. 一个文件路径，这时候只装载指定的文件 2. 一个目录路径，这时候只装载指定目录下面的所有文件（不包括子目录下面的文件） 3. 通过通配符的形式加载多个文
Spark【学习笔记】 textfile读取 HDFS 文件分区 [压缩与非压缩]
Cynric的专栏
10-15 6607
Flume 本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl +
Spark中sc.textFile（）读取文件路径
JStana的博客
11-22 2584
spark sc.textfile()路径问题
Spark sc.textFile(...).map(...).count() 执行完整流程
allwefantasy的专栏
01-22 1403
本文介绍下Spark 到底是如何运行sc.TextFile(...).map(....).count() 这种代码的，从driver端到executor端。 引子 今天正好有人在群里问到相关的问题，不过他的原始问题是： 我在RDD里面看到很多 new MapPartitionsRDD[U, T](this, (context, pid, iter)...
spark读取本地文件以及读取hdfs文件系统上的文件
03-16
2. 读取HDFS文件系统上的文件：可以使用SparkContext的textFile()方法读取HDFS文件系统上的文件，例如： ``` val sc = new SparkContext("yarn", "ReadHDFSFile") val fileRDD = sc.textFile("hdfs://namenode:port...
textFile=sc.textFile("hdfs://master:9000/123.txt")
最新发布
03-21
这是一个用于读取 Hadoop 分布式文件系统中的文本文件的代码。sc.textFile() 函数会返回一个 RDD（Resilient Distributed Dataset），它是一个分布式的不可变数据集合。这个 RDD 可以被用于进行各种操作，比如过滤、...
sc.TextFile() 函数提交多个File
lquarius的博客
05-25 3812
在写 Spark 程序时，如果数据源分散在不同位置，则需要在 sc.TextFile 的时候指定多个数据源 我们可能会想到的一种错误写法是： 错误写法：sc.TextFile( filename1, filename2, filename3) 经过试验发现，如果按照这种写法，在运行 Spark 的时候会报错退出，通过 applicationId 从 yarn logs 下载日志后，Traceback 找到 sc.textFile( ) 报错，错误提示没有这种方法，如下所示： Log 中显示 sc
Spark core通过textFile读取Hdfs文件blockSize如何设置？
m0_64640191的博客
02-13 433
其实Spark core无论是读取hdfs还是读取本地文件都会以hadoopfile的形式进行读取，不同点在于读取本地文件时可以通过在resources文件中放入hdfs-site.xml文件设置fs.local.block.size参数来控制blocksize大小，而读取hdfs文件时，blocksize是通过获取此文件在hdfs存储的实际块大小，另外虽然blocksize和具体分区数有关但不是唯一决定因素；接下来，就让我们通过源码简单的来看看。
SparkContext.textFile读取文件
南风知我意
02-13 4288
SparkContext.textFile读取文件
Scala中的流程（包括：sc.textfile=>flatmap=>map=>reduceByKey等阶段，以及输出分区的个数）【Scala纯代码】
wyqwilliam的博客
07-21 1934
package com.bjsxt.spark import org.apache.spark.SparkConf import org.apache.spark.SparkContext object map {   def main(args: Array[String]): Unit = {     val conf = new SparkConf().setAppName("test"...
sc.WholeTextFiles与sc.textFile区别
weixin_34331102的博客
05-11 453
val data1 = sc.wholeTextFiles("/opt/test")val data  = sc.textFile("/opt/test/") 使用textFile时，它的partition的数量是与文件夹下的文件数量相关，一个文件就是一个partition。 wholeTextFiles的partition数量是根据用户指定或者文件大小来确定。  个人觉得它通常用...
Scala textFile可以将文件作为数据处理的数据源，默认也可以设定分区。
weixin_44342318的博客
04-18 2231
textFile可以将文件作为数据处理的数据源，默认也可以设定分区。
spark sc.textfile 路径
探索数据奥秘的博客
10-20 2143
1、提交到集群执行时-hdfs路径 val data = sc.textFile("/ETL/wordCount.txt")//这是个绝对路径 2、local模式，Linux服务器本地地址 可绝对路径，可相对路径 3、idea开发环境 val data = sc.textFile("E:\\13data\\covtype\\covtype.data")//这是个绝对路径 val lines = sc.textFile("datas/11.txt")//相对路径 相对的是工程的地址：
spark通过textFile读取hdfs数据分区数量规则
xuexue1_1的博客
07-02 1292
作者：越走越远的风 链接：https://www.jianshu.com/p/e33671341f0d 来源：简书 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 话不多说，直接上代码 val conf = new SparkConf().setAppName("ScalaWordCount").setMaster("local[*]") val sc = new SparkContext(conf); val rdd = sc.textFile("E:\\fandf\.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

howard2005

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值