spark
陈兴振
后台开发,hadoop/spark/c++
展开
-
在eclipse中部署spark源代码
参考:1.http://cn.soulmachine.me/blog/20130611/2.原创 2014-05-15 17:12:55 · 9113 阅读 · 0 评论 -
CentOS上安装spark standalone mode
1.安装JDK(已经安装好)2.安装scala 2.9.3Spark 0.7.2 依赖 Scala 2.9.3, 我们必须要安装Scala 2.9.3.下载 scala-2.9.3.tgz 并 保存到home目录(已经在sg206上).$ tar -zxf scala-2.9.3.tgz$ sudo mv scala-2.9.3 /usr/lib$ sudo vim /et原创 2013-09-04 16:36:35 · 9059 阅读 · 0 评论 -
spark从hdfs上读取文件运行wordcount
1.配置环境说明hadoop配置节点:sg202(namenode SecondaryNameNode) sg206(datanode) sg207(datanode) sg208(datanode)spark配置节点:sg201(Master) sg211(Worker)2.从hdfs上读取文件并运行wordcounta. 登录hadoop的主节点sg202 将要进行word原创 2013-09-11 14:31:33 · 61007 阅读 · 3 评论