Scala
钛合金编程
静以修身,俭以养德!The greatest thing is, at any moment, to be willing to give up who we are in order to become all that we can be.
展开
-
Spark快速上手之交互式分析
1.1 Spark交互式分析运行Spark脚本前,启动Hadoop的HDFS和YARN。Spark的shell提供了简单方式去识别API,同样也有一个强大的工具去交互式地分析数据。两种语言有这样的交换能力,分别是Scala 和 Python。下面将演示如何使用Python来分析数据文件。进入Spark安装主目录,输入下面的命令,python命令行模式将会启动。./bin/pysp原创 2014-07-21 09:47:14 · 3134 阅读 · 1 评论 -
Spark学习体系
1:Spark生态和安装部署Spark生态 Spark(内存计算框架) SparkSteaming(流式计算框架) Spark SQL(ad-hoc) Mllib(Machine Learning) GraphX(bagel将被取代)安装部署 Spark安装简介 Spark的源码编译 Spark Standalone安装 Spark Standalone H原创 2014-07-21 09:50:06 · 2863 阅读 · 0 评论 -
Spark中,分享Java和Scala APIs
分享Java和Scala APIs 一旦你有了一个SparkContext,它将服务作为你的主入口点。您能够使用SparkContext实例来发布更多的Spark工作,并且添加或者删除依赖。你能够使用非数据驱动的方法,这些方法如下所示:addJar(path) 为后来的job工作添加jar文件这将贯穿于SparkContext实例中。原创 2014-07-21 10:13:24 · 1006 阅读 · 0 评论 -
CentOS上安装mesos和实例测试
1 安装Mesos在centOS上安装mesos,可以分为下面几个步骤。必要的系统工具和库,运行下面的命令即可。$sudo yum groupinstall "Developmenttools"$sudo yum installjava-1.6.0-openjdk.x86_64 java-1.6.0-openjdk-devel.x86_64 python python-devel l原创 2014-07-21 11:21:33 · 3722 阅读 · 0 评论 -
用Maven构建Spark
设置maven JVM参数:export MAVEN_OPTS="-Xmx2g-XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"指定Hadoop,构建Spark工程。# ApacheHadoop 2.0.5-alphamvn -Pyarn-alpha-Dhadoop.version=2.0.5-alpha-DskipTests原创 2014-07-21 22:15:34 · 1575 阅读 · 0 评论 -
Akka介绍(Akka 1)
1 Akka介绍Akka运行在JVM上,能够构建高并发、分布式和高弹性的消息驱动应用程序的一个工具套件。Akka具有异步、高性能、扩展性等特性。1.1 异步异步能够对单一机器和跨越一个分布式的架构的集群都有益处。在单一节点中,通过组织同步和管道的逻辑,它完全可能有巨大的吞吐量。通过LMAX的Disruptor模式一个优秀的架构实例,它能够在单一线程模型下处理大量的原创 2015-12-16 13:07:57 · 1408 阅读 · 1 评论 -
Spark Web界面
1.7 Spark Web 界面每一个SparkContext发布一个web界面,默认端口是4040,它显示了应用程序的有用信息。这包括:Ø 一系列的调度阶段和任务Ø 对于RDD大小和内存使用的总结Ø 环境信息Ø 运行的执行器(executor)的信息你可以通过浏览器访问http://:4040,当然,你必去先启动SparkContext。比如命令:./bin/sp原创 2014-07-27 23:40:10 · 12516 阅读 · 0 评论 -
Akka历史和亮点(Akka 2)
1.1 Akka历史Akka是由瑞典程序员JonasBoner原创的框架,这个框架由Scala语言编写,并且提供对Java语言的API。Jonas Boner在供应商如BEA、Terracotta构建编译器,运行管理和为分发应用程序的开源框架。他在可扩展和弹性限制CORBA, RPC, XA,EJBs, SOA已经各种不同的Web Service标准和那些java开发者在过去20年原创 2015-12-16 13:08:40 · 2295 阅读 · 0 评论