Spark源码核心与开发实战---Spark RDD与Spark API编程实例

如何终止spark集群   stop-all.sh

 

Hadoop之HDFS文件操作 hadoop fs -cat /user/hadoop/output #查看文件内容

http://blog.csdn.net/flyfish111222/article/details/51995523    可参考

HDFS Web界面上只能查看文件系统数据。网址：http://localhost:50070     Browse directory中可以看见！！！！

3.3.2 集群模式下实践textFile, sortByKey, saveAstextFile方法

3.3.3 集群模式下实践union, join, reduce, lookup方法

3.3.4 搜狗日志数据分析实践  ----------------百度搜“SPARK搜狗日志数据分析实战”，跟书上的有差别，\\s,正则表达式,\\s表示 空格,回车,换行等空白符

------------------------------------------------------------------------------

3.4 基于IntelliJ IDEA使用Spark API 开发应用程序

IntelliJ IDEA ：对JAVA和Scala语言支持最好的集成开发环境。

3.4.1 搭建和设置IntelliJ IDEA开发环境   我用的是IntelliJ IDEA 2017.2.5

http://www.cnblogs.com/chenggongdeni/p/5128996.html

3.4.2 在IntelliJ IDEA下开发并部署Spark应用程序

http://blog.csdn.net/lovehuangjiaju/article/details/47778671  ------ idea 中 class 和 object的问题解答

生成的jar文件在/root/ IdeaProjects/FirstSparkAPP/out/artifacts/FristSparkAppJar这个目录下

---------------------------------至此，IntelliJIDEA的Spark开发环境搭建以及Spark程序在Local模式和Spark集群模式下的实践操作就分析完了------------------------------------------------------------------------------------------------------------------------------------

3.4.3 使用SBT编译Spark应用程序

https://www.2cto.com/kf/201611/561556.html   -----------------------SBT安装及配置   0.13.15

-----------------------------安装及配置完成------------------------------

使用 Scala 编写的程序需要使用 sbt 进行编译打包，相应的，Java 程序使用 Maven 编译打包，而 Python 程序通过spark-submit 直接提交。