spark
天道酬勤厚积薄发
不懈的努力是迈向成功最坚实可靠的途径。
展开
-
Spark 单机安装配置
本文将介绍Apache Spark 1.6.0在单机的部署,与在集群中部署的步骤基本一致,只是少了一些master和slave文件的配置。 备注:经验证,spark1.5+hadoop2.5.2+jdk1.7同样适用一下步骤。 0.Spark的安装准备 Spark官网的文档 http://spark.apache.org/docs/latest/ 里是这样说的: S转载 2016-11-09 13:37:09 · 4054 阅读 · 0 评论 -
spark-shell示例
Scala 行数统计 命令及结果示例 # spark-shell scala> val lines = sc.textFile("README.md") lines: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[1] at textFile at :24 scala> lines.count原创 2016-11-09 14:08:26 · 1003 阅读 · 0 评论