大数据-spark
两榜进士
if you are not inside,you are outside.
展开
-
Spark实战1:单节点本地模式搭建Spark运行环境
前言: Spark本身用scala写的,运行在JVM之上。 JAVA版本:java 6 /higher edition. 1 下载Spark http://spark.apache.org/downloads.html 你可以自己选择需要的版本,这里我的选择是: http://d3kbcqa49mib13.cloudfront.net/spark-1.1.0-转载 2015-11-10 16:08:54 · 1120 阅读 · 0 评论 -
使用Intellij IDEA构建spark开发环境
近期开始研究学习spark,开发环境有多种,由于习惯使用STS的maven项目,但是按照许多资料的方法尝试以后并没有成功,也可能是我环境问题;也可以是用scala中自带的eclipse,但是不太习惯,听说支持也不太好,好多问题;咨询一些人后说,IDEA对scala的支持比较好。所以尝试使用IDEA来构建Spark开发环境; 1. 安装JDK 2. 安装IDEA最新版,目前转载 2017-02-27 10:08:41 · 540 阅读 · 0 评论 -
cloudera manager报错“客户端配置 (id=2) 已使用 1 退出,而预期值为 0
在cloudera manager部署客户端配置的这个步骤中,总是报错:客户端配置 (id=2) 已使用1退出,而预期值为 0。 1.首先我们需要找到此处日志目录,并不是/opt/cm-5.5.0/log。针对使用tar.gz包进行离线安装的目录,日志应该在:/opt/cm-5.5.0/run/cloudera-scm-agent/process/ccdeploy_spark-conf_et原创 2017-06-22 23:04:39 · 6788 阅读 · 4 评论