RDD常用操作,及结果展示

这篇博客详细介绍了如何使用HDFS的基本操作,包括创建文件夹、拷贝文件、查看文件等内容。接着,它深入讲解了Spark的RDD转换操作如filter、map、flatMap、groupByKey和reduceByKey,以及行动操作如count、collect、first、take和reduce。通过多个实例展示了如何在实践中应用这些操作,例如从HDFS加载数据,对数据进行过滤、转换并执行聚合操作。
摘要由CSDN通过智能技术生成

首先简单介绍一下,HDFS的相关操作:
1、在HDFS上创建文件夹
hdfs dfs -mkdir /path

2、将本地文件拷贝到HDFS上
hdfs dfs -copyFromLocal local_file /dstpath
hdfs dfs -put local_file /dstpath

3、将HDFS上的文件拷贝到本地
hdfs dfs -copyToLocal /dstpath local_path
hdfs dfs -get /dstpath local_path

4、列出HDFS上文件夹下的文件
hdfs dfs -ls /dstpath

5、查看HDFS上文件的内容
hdfs dfs -cat /dstpath/result.txt


常用的RDD转换操作API:
1、filter(func) 筛选出满足函数func的元素,并返回一个新的数据集
2、map(func) 将每个元素传递到函数func中,并将结果返回为一个新的数据集
3、flatMap(func) 与map()相似,但每个输入元素都可以映射到0或多个输出结果
4、groupByKey() 应用于(K,V)键值对的数据集时,返回一个新的(K, Iterable)形式的数据集
5、reduceByKey(func) 应用于(K,V)键值对的数据集时,返回一个新的(K, V)形式的数据集,其中每个值是将每个key传递到函数func中进行聚合后的结果


行动操作常用API:
1、count() 返回数据集中的元素个数
2、collect() 以数组的形式返回数据集中的所有元素
3、first() 返回数据集中的第一个元素
4、take(n) 以数组的形式返回数据集中的前n个元素
5、reduce(func) 通过函

  • 3
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值