2015年03月_ichsonx

11月 10月 09月 08月 07月 03月 02月 01月

转载 Spark中文手册10：spark部署：提交应用程序及独立部署模式

问题导读1.spark-submit各个参数的含义是什么？2.集群启动都包含哪些脚本？3.如何实现连接一个应用程序到集群中？Spark中文手册-编程指南Spark之一个快速的例子Spark之基本概念Spark之基本概念Spark之基本概念（2）Spark之基本概念（3）Spark-sql由入门到精通Spark-sql由入门到精通续sp

2015-03-24 17:00:04 12962

转载 Spark1.0.0 运行架构基本概念

问题导读：1、Spark Application的运行架构有哪些组成？2、Spark on YARN 的运行过程是什么？前言Spark Application的运行架构由两部分组成：driver program（SparkContext）和executor。Spark Application一般都是在集群中运行，比如Spark Standalone、YARN、mesos

2015-03-24 10:05:48 1054

原创亲笔，spark编译、安装、部署、使用的经历中所遇到的问题

PS：此贴会随着笔者的使用推移，不断完善1.启动spark on yarn的情况下，提示assembly/target/scala-2.10/这个目录不存在的异常，无法启动master这是个奇葩的问题，笔者是使用scala2.11来进行构建spark的，在配置文件中的scala home也是2.11的。也没找到配置scala2.10的地方。于是笔者就在提示的目录下mkdir了一

2015-03-23 23:27:48 651

转载 spark的核心思路、适用场景是什么？

1.Spark的核心思路是什么？2.Spark的适用场景是什么？首先，MapReduce-like是说架构上和多数分布式计算框架类似，Spark有分配任务的主节点（Driver）和执行计算的工作节点（Worker）其次，Low-latency基本上应该是源于Worker进程较长的生命周期，可以在一个Job过程中长驻内存执行Task，减少额

2015-03-22 21:09:25 5145

转载 ubuntu 使用过程中可能遇到的问题，和所需要用到的情况设置

1。 system settings 中的东西没有了怎么办？http://forum.ubuntu.org.cn/viewtopic.php?f=49&t=4566722。遇到I+N的双显卡，你可能需要这样设置http://forum.ubuntu.org.cn/viewtopic.php?f=42&t=382269http://forum.ubuntu.org.cn/v

2015-03-19 18:48:34 705