Spark WordCount实验一启动spark ![]() 1. 数据准备 创建建数据文件夹 进入data文件夹 创建文本文件 并查看是否创建成功 ![]() ![]() 文件内容 ![]() 查看文件目录 ![]() |
启动pyspark ![]() 3、输入代码 从本地读入文本数据 ![]() 读入1中创建好的data.txt文本文件。 并计算打印结果 ![]() Spark WordCount实验二切工作目录到Downloads文件夹下, 并用用vim命令新建data.txt ![]() ![]() 编写代码 ![]() 并把.py文件传输到Linux上 ![]() 提交应用 切换到spark-submit所在目录下,然后提交wordcount.py代码。 ![]() 运行结果 ![]() ![]() ![]() |
总体还是比较简单就练习如何使用spark-submit命令提交独立的python程序时最后的输出wordcount01.py时有点问题 |
Spark wordcount实验
最新推荐文章于 2024-09-09 23:37:39 发布