本文介绍了如何使用Spark Shell进行交互式编程，包括启动Spark Shell、编写并执行WordCount程序，以及解决启动过程中遇到的问题。详细步骤涵盖从启动HDFS、上传文件，到在shell中编写和运行程序，最后在IDEA中实现相同功能。同时，文章还讨论了一个Hive配置警告的解决方案。
Spark Core：第一章 spark shell
文章目录
—>Spark知识点总结导航<—
一、关于spark-shell
spark-shell是spark自带的交互式shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序。
二、启动spark-shell
开启HDFS和spark集群
~/software/spark/bin/spark-shell
（如果不成功请参考文末的Q1）
- 注意：
如果启动spark shell时没有指定master地址，但是也可以正常启动spark shell和执行spark shell中的程序，其实是启动了spark的cluster模式，如果spark是单节点，并且没有指定slave文件，这个时候如果打开spark-shell 默认是local模式 - Local模式是master和worker在同同一进程内
- Cluster模式是master和worker在不同进程内
三、spark-shell中编写WordCount程序
1. 启动HDFS
2. 上传文件到HDFS
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
