Spark
文章平均质量分 84
Yt_Sports
这个作者很懒,什么都没留下…
展开
-
Apache Spark学习:利用Scala语言开发Spark应用程序
转载 董的博客 作者:Dong | 新浪微博:西成懂 本文链接地址:网址:http://dongxicheng.org/framework-on-yarn/spark-scala-writing-application/本博客的文章集合:http://dongxicheng.org/recommend/Spark内核是由Scala语言开发的,因此使用Scala语言开发Spark应用程序是自转载 2015-12-28 13:25:48 · 813 阅读 · 0 评论 -
Spark的Example---SparkPi
SparkPi.scal的源代码分析:1.代码在examples/src/main/scala/org/apache/spark/examples目录下2.代码(修改了部分源码)内容如下:import scala.math.randomimport org.apache.spark._/** Computes an approximation to pi */object S原创 2015-12-28 11:10:53 · 994 阅读 · 0 评论 -
各模式下运行spark自带实例SparkPi
此系统是ubuntu,spark版本是1.0.0(下载的不是源码,而是编译好的,在我的其他文章里有下载网盘地址),hadoop版本2.2.0,scala版本2.10.41.spark-sunbmit命令:spark1.0之前的版本运行自带例子使用$SPARK_HOME/bin/run-example命令,对于spark1.0以后做出了改进,使用$SPARK_HOME/bin/spark原创 2015-12-29 10:39:43 · 24137 阅读 · 3 评论 -
Spark-KMeans文本聚类
1 实验环境部署1.1 主机环境 处理器 Intel(R) Core(TM)2 Duo CPU 2.80GHz内存 8.00GB操作系统 WIN7SP1 64bit1.2虚拟机环境VMware® Workstation 10.0.2 build-1744117处理器 2Core内存 4GB操作系统 Ubuntu12.04 LTS Desktop 32转载 2016-01-07 11:30:28 · 5796 阅读 · 5 评论 -
linux上安装spark1.0.0
此系统是ubuntu!前提你已经安装scala和jdk,spark的运行依赖于scala2.10.4,具体下载安装等等,在我的博客都已说明。1.下载spark-1.0.0-bin-hadoop2.tar.gz,下载链接为:http://pan.baidu.com/s/1c0PxMpi2.解压到你的某个文件夹里tar -xzvf spark-1.0.0-bin-hadoop2.tar.gz原创 2015-12-17 21:48:36 · 596 阅读 · 0 评论 -
Spark:用Scala和Java实现WordCount
http://www.cnblogs.com/byrhuangqiang/p/4017725.html为了在IDEA中编写scala,今天安装配置学习了IDEA集成开发环境。IDEA确实很优秀,学会之后,用起来很顺手。关于如何搭建scala和IDEA开发环境,请看文末的参考资料。用Scala和Java实现WordCount,其中Java实现的JavaWordCount是sp转载 2016-03-02 09:27:51 · 629 阅读 · 0 评论 -
利用Intellij IDEA构建开发环境
转载自董的博客本文链接地址: http://dongxicheng.org/framework-on-yarn/apache-spark-intellij-idea/(1)准备工作1) 安装JDK 6或者JDK 72) 安装scala 2.10.x (注意版本)2)下载Intellij IDEA最新版(本文以IntelliJ IDEA Communi转载 2016-03-02 09:38:55 · 622 阅读 · 0 评论