从零开始学习Spark
未济2019
这个作者很懒,什么都没留下…
展开
-
从零开始学习Spark--第4章 Spark的各种运行方式
1. 启动Hadoop cd /home/brian/usr/hadoop/hadoop-1.1.2 #格式化NameNode ./bin/hadoop namenode -format #启动集群 ./bin/start-all #将README.txt文件复制到HDFS以供测试 ./bin/hadoop fs -put RE原创 2013-12-05 12:03:05 · 5331 阅读 · 0 评论 -
从零开始学习Spark--第5章 SparkContext类分析
1. SparkContext类是Spark的关键类,代码在这里:./core/src/main/scala/org/apache/spark/SparkContext.scala。SparkContext是Spark的入口,负责连接Spark集群,创建RDD,累积量和广播量等。从本质上来说,SparkContext是Spark的对外接口,负责向调用这提供Spark的各种功能。它的作用是一个容器。原创 2013-12-06 13:36:10 · 9884 阅读 · 0 评论 -
从零开始学习Spark--第1章 安装和测试
spark 安装 0.8 版本操作系统Ubuntu 10.04,已经安装JDK 1.7。1. 下载spark代码http://spark.incubator.apache.org/downloads.html2. spark 0.8依赖于scala 2.9.3,安装这个版本的scala。2.1 下载scala 0.9.3 http://www.scal原创 2013-12-03 16:44:57 · 6191 阅读 · 0 评论 -
从零开始学习Spark--第2章 spark开发
1. 主要参考资料http://spark.incubator.apache.org/docs/latest/scala-programming-guide.htmlhttp://www.eecs.berkeley.edu/Pubs/TechRpts/2011/EECS-2011-82.pdf2. 简介每个Spark应用,都有一个驱动程序,它运行main函数,在集群上执行各原创 2013-12-04 16:29:42 · 7100 阅读 · 0 评论 -
从零开始学习Spark--第3章 spark的example
1. 计算Pi值1.1 命令行:#spark安装在/home/brian/setup/spark-new/spark-0.8.0目录cd /home/brian/setup/spark-new/spark-0.8.0#在本地运行计算Pi值的Spark程序,4个工作线程./run-example org.apache.spark.examples.Spar原创 2013-12-05 11:51:55 · 12195 阅读 · 0 评论 -
为emacs添加scala语法支持
spark是基于scala 2.9.3的,但scala2.9.3没有scala-tool-support。于是只好用scala-tool-support-2.10.3代替。主要参考了http://www.douban.com/note/133904961/,谢谢itang同学的原文!1. 下载scala-tool-support-2.10.3 相关下载在这里:原创 2013-12-12 15:30:08 · 2024 阅读 · 0 评论 -
spark的作业调度问题
1. 文档来源http://spark.apache.org/docs/1.6.1/job-scheduling.html2. 调度策略spark有多种策略在计算之间进行资源规划。一个spark application,是一个spark应用。一个应用,有且仅有,对应且仅对应一个sparkContext。每一个应用,运行一组独立的executor processes。原创 2016-09-26 15:42:28 · 3209 阅读 · 0 评论