SCGH_Fx的专栏

转载自：Kafka+Spark Streaming+Redis实时系统实践基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像Spark Streaming、Spark SQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版

spark零基础学习路线指导问题导读1.你认为spark该如何入门？2.你认为spark入门编程需要哪些步骤？3.本文介绍了spark哪些编程知识？ spark学习一般都具有hadoop基础，所以学习起来更容易多了。如果没有基础，可以参考零基础学习hadoop到上手工作线路指导（初级篇）。具有基础之后，一般都是按照官网或则视频、或则文档，比如搭建sp

环境：Linux16.0.4，Spark-2.1.0,准备工作：先在用户主目录下面创建一个test.txt文件，文件内容为：Apple Apple OrangeBanana Grape Grape然后：（1）先创建一个scala工程，工程名为sparkwordcount，并新建一个scala object的.scala格式文件，文件名为wordcount。

（1）先准备一个名为test.txt的文档，该文档内容如下：Apple Apple OrangeBanana Grape Grape（2）上传文档然后使用secureCRT上传到Linux系统上。上传完毕后，检查文档zhang@Desktop1:~$ ls | grep 'test.txt'test.txt（3）查看内容zhang@Desktop1:~$ c

从http://spark.apache.org/下载spark源码包。然后(1)解压$tar -zxvf  spark-x.y.z-bin-hadoopx.y.tgz(2)修改pom.xml文件        该文件在解压目录中的conf文件夹当中，我的部分修改如下：1.82.7.32.5.00.98.9-hadoop23.

环境：jdk1.8.0_111，scala-2.12.1，spark-2.1.0，Hive-2.1.1，hadoop-2.7.3一、master安装1.下载spark-2.1.0-bin-hadoop2.7.tgz并解压： $tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz $sudo mvspark-2.1.0-bin-hadoop2.7

（1）执行spark-shell进入交互界面时INFO信息过多 解决方法： cd /usr/local/spark/conf cp log4j.properties.template log4j.properties 编辑log4j.properties，将“log4j.rootCategory=INFO,con