Spark SQL命令“load data”是否会删除源文件的研究

load data 命令既可以将本地文件加载到Spark表,也能将HDFS上文件加载到Spark表;因此,分两种情况分别研究:

情形一:将本地文件加载到Spark表

load data local inpath '/home/gulfmoon/data/test.txt' into table test;

经验证,此情形并不会将“/home/gulfmoon/data/test.txt”文件删除,即结论是:情形一不会丢失源数据文件。

情形二:将HDFS文件加载到Spark表

load data inpath 'hdfs://gulfmoon/data/test.txt' into table test;

经验证,此情形会将HDFS上的test.txt 文件删除,即结论是:情形二会丢失源数据文件。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值