Spark
钛合金编程
静以修身,俭以养德!The greatest thing is, at any moment, to be willing to give up who we are in order to become all that we can be.
展开
-
2016年大数据发展趋势(BigData Trends 2016)
今天看到一篇大数据和云计算技术发展预测的报告文章,本想翻译过来。但是,由于时间关系没有来得及翻译。后续补上,请谅解。 原文:BigData Trends 2016The year 2015 was an important one in theworld of big data. What used to be hype became the norm as翻译 2016-01-09 10:02:42 · 2398 阅读 · 0 评论 -
Spark快速上手之交互式分析
1.1 Spark交互式分析运行Spark脚本前,启动Hadoop的HDFS和YARN。Spark的shell提供了简单方式去识别API,同样也有一个强大的工具去交互式地分析数据。两种语言有这样的交换能力,分别是Scala 和 Python。下面将演示如何使用Python来分析数据文件。进入Spark安装主目录,输入下面的命令,python命令行模式将会启动。./bin/pysp原创 2014-07-21 09:47:14 · 3137 阅读 · 1 评论 -
Spark学习体系
1:Spark生态和安装部署Spark生态 Spark(内存计算框架) SparkSteaming(流式计算框架) Spark SQL(ad-hoc) Mllib(Machine Learning) GraphX(bagel将被取代)安装部署 Spark安装简介 Spark的源码编译 Spark Standalone安装 Spark Standalone H原创 2014-07-21 09:50:06 · 2866 阅读 · 0 评论 -
Spark中,分享Java和Scala APIs
分享Java和Scala APIs 一旦你有了一个SparkContext,它将服务作为你的主入口点。您能够使用SparkContext实例来发布更多的Spark工作,并且添加或者删除依赖。你能够使用非数据驱动的方法,这些方法如下所示:addJar(path) 为后来的job工作添加jar文件这将贯穿于SparkContext实例中。原创 2014-07-21 10:13:24 · 1011 阅读 · 0 评论 -
CentOS上安装mesos和实例测试
1 安装Mesos在centOS上安装mesos,可以分为下面几个步骤。必要的系统工具和库,运行下面的命令即可。$sudo yum groupinstall "Developmenttools"$sudo yum installjava-1.6.0-openjdk.x86_64 java-1.6.0-openjdk-devel.x86_64 python python-devel l原创 2014-07-21 11:21:33 · 3729 阅读 · 0 评论 -
用Maven构建Spark
设置maven JVM参数:export MAVEN_OPTS="-Xmx2g-XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"指定Hadoop,构建Spark工程。# ApacheHadoop 2.0.5-alphamvn -Pyarn-alpha-Dhadoop.version=2.0.5-alpha-DskipTests原创 2014-07-21 22:15:34 · 1578 阅读 · 0 评论 -
Spark Web界面
1.7 Spark Web 界面每一个SparkContext发布一个web界面,默认端口是4040,它显示了应用程序的有用信息。这包括:Ø 一系列的调度阶段和任务Ø 对于RDD大小和内存使用的总结Ø 环境信息Ø 运行的执行器(executor)的信息你可以通过浏览器访问http://:4040,当然,你必去先启动SparkContext。比如命令:./bin/sp原创 2014-07-27 23:40:10 · 12524 阅读 · 0 评论 -
Spark集群安装指导
Spark集群安装从 http://spark.apache.org/downloads.html 下载最新的Spark稳定版本。下载到指定路径下,这里是/opt/h2/下。tar xvf spark-2.0.2-bin-hadoop2.7.tgz mv spark-2.0.2-bin-hadoop2.7 spark设置关键变量设置好Java配置参数后,需要设置必要的Spark运行的环境变量。假原创 2016-12-22 10:35:04 · 586 阅读 · 0 评论