pyspark程序 从hdfs上读取数据求其TopN，并将结果存回hdfs

最新推荐文章于 2024-07-29 17:54:27 发布
最新推荐文章于 2024-07-29 17:54:27 发布
阅读量1.9k 收藏 5
点赞数 2
分类专栏： big data 文章标签： spark程序从hdfs读取文件 spark程序将结果存到hdfs中 pyspark程序从hdfs读取文件并将结果存回hdfs 如何从hdfs中读取、写入数据 spark程序从hdfs读取并写入文件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Late_whale/article/details/103447707
版权
该博客介绍了如何使用pyspark从hdfs读取数据，通过对蜀国武将的武力值进行排序，找出五虎上将，并将结果保存回hdfs。具体步骤包括数据读取、转换、排序和写入。
摘要由CSDN通过智能技术生成

问题：选出蜀国中五虎将

原始数据如下：
序号 姓名 武力值 国家
1 刘备 68 蜀国
2 马超 90 蜀国
3 黄忠 91 蜀国
4 魏延 76 蜀国
5 姜维 92 蜀国
6 关羽 96 蜀国
7 严颜 78 蜀国
8 孟达 64 蜀国
9 张飞 88 蜀国
10马谡 76 蜀国
11 赵云 95 蜀国
12 法正 88 蜀国

预期结果如下：
6 关羽 96 蜀国
11 赵云 95 蜀国
5 姜维 92 蜀国
3 黄忠 91 蜀国
2 马超 90 蜀国

新建数据文件
在这里插入图片描述

步骤

导入必要的包，因为用到的是pyspark，最好导入findspark，可以避免一些看不懂的错误
在这里插入图片描述
初始化sparkcontext，local为本地工作方式，topapp为随意取的名字
在这里插入图片描述
从hdfs上读取文件，并输出第一行看数据结构方便后面操作

最低0.47元/天 解锁文章
Late whale
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
SRGNN infer阶段终结篇
NLP与推荐算法
12-11 477
嗨，搬砖工起来干活了，加油吧，搬砖人。本文的核心在于解决SRGNN推理慢的问题，读懂代码，将其改成faiss召回，这才是创造性的。 【近期一些paper都已经宣称超越了SRGNN，对此，小明哥持保留意见，直接说就是，不要吹牛逼，能不能落地？速度和内存在DAU千万下能不能行？没公开依旧不可信，公开的也就是个弱的baseline，实际还是很多坑】 For Recommendation in Deep learning QQ Group 277356808 For Visual in deep learni
Hadoop hdfs文件操作，mr demo,topN demo
01-20
在Map阶段，程序会读取每一行文本，将其拆分为单词，并为每个单词生成一个键值对（<单词，1>）。Reduce阶段接收到这些键值对后，会对相同单词的所有计数值进行求和，得出每个单词的总数。 另一个概念是"topN求解...
Pyspark：读取本地文件和HDFS文件
abcdrachel的博客
08-29 2万+
1.读取本地文件 首先需要在目录“/usr/local/spark/mycode/wordcount”下，建好一个word.txt： hadoop@rachel-virtual-machine:/usr/local/spark$ ./bin/pyspark ./bin/pyspark: 行 45: python: 未找到命令 Python 3.6.8 (default, Jan 14 201...
PySpark的HDFS和MySQL读写
最新发布
chendengyi2的博客
07-29 910
集群主节点IP地址为：192.168.126.10。先初始化SparkSession，Spark master的默认端口是7077。再读取HDFS数据，HDFS的端口是9000，在HDFS系统的/data/目录下存放了三个数据集：ratings.csv，movies.csv，tags.csv。先读取ratings数据集，该数据集包括4个字段：用户ID（userId），电影ID（movieId），电影评分（rating），时间戳（timestamp）。由上图可知，数据类型默认为string字符型。
PySpark学习案例——词频统计并排序（本地文件）
程研板的博客
08-19 1190
目录数据预览python代码提交运行运行结果 数据预览 //有4个内容一模一样的文件 [hadoop@hadoop000 wordcount]$ ls hello.txt hello - 副本 (2).txt hello - 副本 (3).txt hello - 副本.txt //文件内容 [hadoop@hadoop000 wordcount]$ cat hello.txt hello spark hello flink hello hadoop python代码 import sys from
【博学谷学习记录】超强总结，用心分享|狂野大数据课程【基于Pycharm完成PySpark入门案例（下）】的总结分析
qq_42198232的博客
02-05 184
基于Pycharm完成PySpark入门案例（下）
pyspark 计算排序TOPN
weixin_42991982的博客
10-06 1036
计算数据中心排名前几的排序 导入相关的依赖包 import sys from pyspark import SparkConf, SparkContext if __name__ == '__main__': if len(sys.argv)!=2: print("Usage:TOPN <iput>", sys.stderr) sys.exit(-1) conf=SparkConf() sc=SparkContext(conf=conf); 定义清
hadoopio:ScalaJava 库可方便地与存储在 Hadoop HDFS 中的 Avro 文件交互
05-30
java -jar avro-tools.jar tojson | head -n 5# HadoopIOAvroFsReader(cfg).read( " /path/to/file.avro " ) take 5 foreach println 首先我们启动 Scala REPL： # Must be run from the top-level
2019分布式计算考试题 回忆1
08-03
例如，topN问题中，Map阶段将数据分割，Combine阶段局部聚合，Reduce阶段全局排序并找出前N个元素。对于微博粉丝数量和粉丝列表，Map处理每个用户ID，Combine减少网络传输，Reduce整合所有信息。 **物理时钟与逻辑...
HIVE实战项目-Youtube视频网站常规指各项标
11-24
- `VideoETLMapper`类继承自Hadoop的`Mapper`，负责读取原始数据并进行初步处理。Mapper会将处理后的数据输出到Reducer阶段。 3. **Reducer阶段**： - 在Reducer中，可以进一步计算各类指标，例如聚合视频观看...
基于hadoop实现输出出现频率最高的20个词
01-06
// 从Result对象中解析出单词，并将其映射到键值对中 Text word = new Text(Bytes.toString(value.getRow())); IntWritable one = new IntWritable(1); context.write(word, one); } } ``` #### 4.3 Reduce...
pyspark pandas 输出到hdfs的形式
weixin_44725721的博客
10-25 810
hdfs上的保存结果（保存在linunx也是这种多个小文件的形式）spark保存csv 到hdfs上是多个csv文件。
PySpark 统计词频并返回排名TOP N
给我一点温度
09-29 1526
输入：txt文本文件 输出结果： [('技术', 48), ('百度', 45), ('模型', 38), ('语义', 31), ('分析', 30), ('情感', 25), ('NLP', 20), ('自然语言', 20), ('方法', 19), ('中', 18), ('用户', 17), ('观点', 16), ('计算', 16), ('主题', ...
pyspark-hdfs数据操作
热门推荐
风吴痕的博客
10-16 3万+
参考： 1、http://spark.apache.org/docs/1.2.0/api/python/pyspark.html 2、http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrame 一、SparkContext API 1、读取hdfs数据转成nu
如何在pyspark中与HDFS交互
Lestat.Z.的博客
05-04 2812
如何pyspark与HDFS交互前言使用Java Gateway使用第三方库使用subprocesses子进程参考资料 前言 我们经常需要从Spark应用程序执行HDFS操作，无论是在HDFS中列出文件还是删除数据。 如果使用scala写spark程序的话，我们可以调用hadoop相关的jar包对hdfs进行操作，但在Python Spark API（PySpark）并不能立即实现这一点，那么在p...
Hadoop学习笔记(10)-Spqrk实现TopN(Python)
BeiXi's Blog
06-15 1260
Spqrk实现TopN实验要求数据准备预期结果相关类以及算子介绍findsparkpyspark：SparkContext：parallelize(*c*, *numSlices=None*)collect()textFile(*name*, *minPartitions=None*, *use_unicode=True*)map(*f*, *preservesPartitioning=False*)cache()sortBy(keyfunc, *ascending=True*, *numPartition
pyspark连接hdfs
weixin_30847865的博客
03-06 1148
from pyspark import SparkContext from pyspark import SparkConf string_test = 'pyspark_test' conf = SparkConf().setAppName(string_test).setMaster('yarn') sc = SparkContext(conf=conf) hdfs_data = s...
使用pyspark统计用户访问(uv)TOP_N
qq_27536697的博客
09-19 1282
使用pyspark统计用户访问TOP_N 说明:使用pyspark库uv的TOP_N实现 一、数据说明 用户访问数据,IP地址,URL 二、代码实现 导入pyspark及环境配置 import os from pyspark import SparkContext import time JAVA_HOME='/root/bigdata/jdk' #向系统环境变量中添加 JAVA_HOM...
pyspark里面的SparkContext大数据平台包的使用
飞奔的WSL-WLL
06-24 880
RDD类型: 1. 并行集合(Parallelized Collections): 来自于分布式化的数据对象,比如用户自己键入的数据 2. 文件系统数据集: Hadoop Datasets 或文本文件,比如通过SparkContext.textFile()读取的数据，括号里面的参数是大数据文件读取的路径。这个路劲可以使用某一个文件目录下面的一部分文件，那么就需要通配符匹配这部分文件，如何匹配呢？看下面这个例子： load_path_om = ''mdfs://cloudhdfs/new...
pyspark从hdfs读取tif文件
04-07
可以使用以下代码从HDFS读取tif文件： ```python from pyspark import SparkContext, SparkConf from pyspark.sql import SparkSession conf = SparkConf().setAppName("ReadTifFromHDFS") sc = SparkContext(conf...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值