- 博客(9)
- 收藏
- 关注
RSS订阅转载 Spark1.0.0 应用程序部署工具spark-submit
随着Spark的应用越来越广泛，对支持多资源管理器应用程序部署工具的需求也越来越迫切。Spark1.0.0的出现，这个问题得到了逐步改善。从Spark1.0.0开始，Spark提供了一个容易上手的应用程序部署工具bin/spark-submit，可以完成Spark应用程序在local、Standalone、YARN、Mesos上的快捷部署。1：使用说明进入$SPARK_HOME目录，输入b
2014-08-18 22:40:05
587
转载 Spark1.0.0属性配置
1：Spark1.0.0属性配置方式 Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。 在Spark1.0.0提供了3种方式的属性配置：SparkConf方式SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用属性直接配置，如master使用setMaster，
2014-08-18 19:36:41
470
转载 spark RDD的理解
RDD是什么东西？在Spark中有什么作用？如何使用？ 1、RDD是什么（1）为什么会产生RDD？传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁盘IO操作。RDD正是解决这一缺点的抽象方法 （2）RDD的具体描述RDD（弹性数据集）是Spark提供的最重要的抽象的概念，它是一种有容错机制的特殊集合
2014-06-08 15:37:10
1130
1
转载 RDD：基于内存的集群计算容错抽象
该论文来自Berkeley实验室，英文标题为：Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译，我是基于科学网翻译基础上进行优化、修改、补充，这篇译文翻译得很不错。在此基础上，我增加了来自英文原文的图和表格数据，以及译文中缺少的未翻译的部分。如果翻译措
2014-06-08 13:57:08
1062
转载 spark安装
原文地址：http://www.yanjiuyanjiu.com/blog/20131017/环境:CentOS 6.4, Hadoop 1.1.2, JDK 1.7, Spark 0.8.0, Scala 2.9.3Spark 0.7.2 的安装请看之前的一篇博客，安装Spark集群(在CentOS上) 。Spark的安装很简单，总结起来一句话：下载，解压，然后拷贝到所有
2014-01-13 23:27:27
771
原创 sybase使用java连接创建表失败
今天收到升级姐们儿的一个咨询问题，说是我们ds服务启动不了。看了下日志，是在数据库总创建表的时候抛了异常，大概是“JZ0EM 数据结束”这类描述，查了下网络上的信息，没有找到结果，但是大概知道是字符集引起的问题。在初始化JDBC连接参数的时候，我们这边有设置charset=cp936，也就是中文的编码；数据库那头，设定的是eucgb的编码，好像也是中文的字符集。去掉这个参数后，创建表一切正常。
2012-05-26 22:26:51
424
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人