spark
文章平均质量分 77
好记性不如烂笔头哦
这个作者很懒,什么都没留下…
展开
-
shark0.8.1安装部署
名称下载地址Spark 0.8.1http://d3kbcqa49mib13.cloudfront.net/spark-0.8.1-incubating-bin-cdh4.tgzShark 0.8.1https://github.com/amplab/shark/releases/download/v0.8.1/shark-0.8.1-b转载 2014-05-19 11:07:36 · 795 阅读 · 0 评论 -
sparkSQL
配置scala: vi /etc/profile export SCALA_HOME=/home/bigdata/scala export PATH=$PATH:$SCALA_HOME/bin source /etc/profile#scala -version Scala code runner version 2.9.3 -- Copyright 200原创 2014-07-06 13:16:58 · 659 阅读 · 0 评论 -
Spark on yarn测试存档
Spark on yarn测试存档从spark-class脚本结合后期日志可以看到,spark启动首先读取来自spark-env.sh的环境变量,首先加载spark_mem等变量,然后查找jar包以及读取类路径。采用yarn-client模式,则将spark作业提交到yarn上运行,sparkContext运行在client本地,task运行在yarn集群中。可以看到运行结果以及webUI上c原创 2014-06-17 17:22:47 · 812 阅读 · 0 评论