- 博客(9)
- 收藏
- 关注
转载 Spark1.0.0 应用程序部署工具spark-submit
随着Spark的应用越来越广泛,对支持多资源管理器应用程序部署工具的需求也越来越迫切。Spark1.0.0的出现,这个问题得到了逐步改善。从Spark1.0.0开始,Spark提供了一个容易上手的应用程序部署工具bin/spark-submit,可以完成Spark应用程序在local、Standalone、YARN、Mesos上的快捷部署。1:使用说明进入$SPARK_HOME目录,输入b
2014-08-18 22:40:05
587
转载 Spark1.0.0属性配置
1:Spark1.0.0属性配置方式 Spark属性提供了大部分应用程序的控制项,并且可以单独为每个应用程序进行配置。 在Spark1.0.0提供了3种方式的属性配置:SparkConf方式SparkConf方式可以直接将属性值传递到SparkContext;SparkConf可以对某些通用属性直接配置,如master使用setMaster,
2014-08-18 19:36:41
470
转载 spark RDD的理解
RDD是什么东西?在Spark中有什么作用?如何使用? 1、RDD是什么(1)为什么会产生RDD?传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点,但是其最大缺点是采用非循环式的数据流模型,使得在迭代计算式要进行大量的磁盘IO操作。RDD正是解决这一缺点的抽象方法 (2)RDD的具体描述RDD(弹性数据集)是Spark提供的最重要的抽象的概念,它是一种有容错机制的特殊集合
2014-06-08 15:37:10
1130
1
转载 RDD:基于内存的集群计算容错抽象
该论文来自Berkeley实验室,英文标题为:Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译,我是基于科学网翻译基础上进行优化、修改、补充,这篇译文翻译得很不错。在此基础上,我增加了来自英文原文的图和表格数据,以及译文中缺少的未翻译的部分。如果翻译措
2014-06-08 13:57:08
1062
转载 spark安装
原文地址:http://www.yanjiuyanjiu.com/blog/20131017/环境:CentOS 6.4, Hadoop 1.1.2, JDK 1.7, Spark 0.8.0, Scala 2.9.3Spark 0.7.2 的安装请看之前的一篇博客,安装Spark集群(在CentOS上) 。Spark的安装很简单,总结起来一句话:下载,解压,然后拷贝到所有
2014-01-13 23:27:27
771
原创 sybase使用java连接创建表失败
今天收到升级姐们儿的一个咨询问题,说是我们ds服务启动不了。看了下日志,是在数据库总创建表的时候抛了异常,大概是“JZ0EM 数据结束”这类描述,查了下网络上的信息,没有找到结果,但是大概知道是字符集引起的问题。在初始化JDBC连接参数的时候,我们这边有设置charset=cp936,也就是中文的编码;数据库那头,设定的是eucgb的编码,好像也是中文的字符集。去掉这个参数后,创建表一切正常。
2012-05-26 22:26:51
424
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人