大数据
waveletbob
这个作者很懒,什么都没留下…
展开
-
SPARK伪分布安装
准备:JDK SCALA HADOOP 下载安装: 下载: 解压: SPARK_ENV: export JAVA_HOME=/usr/java/jdk1.8.0_73 export SCALA_HOME=/opt/scala-2.11.7 export SPARK_MASTER_IP=bk25103378-B85M-DS3H-A #主机名 export SPARK_WORKER_C原创 2016-11-06 19:58:04 · 294 阅读 · 0 评论 -
Spark2.0源码阅读---spark源码编译与IDEA导入搭建阅读环境
编译准备: maven jdk 编译步骤 1.从spark官网下载源代码; 2.为maven配置jvm参数export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512m -XX:ReservedCodeCachedSize=512m"3.从解压后的源码根目录下执行编译命令 以下以hadoop2.6.4为例: mvn -Pyarn -Dhadoop.v原创 2017-01-02 12:37:51 · 363 阅读 · 0 评论 -
Spark入门系列
读完Spark官方文档后,在研究别人的源码以及Spark的源码之前进行一番入门学习,这个系列不错。 Spark系列 除此之外,Databricks也是一个非常不错的网站,上面可以使用免费的Spark集群进行代码提交与测试,在youtube以及Spark大会中都有其发布教程以及Spark应用部署的相关细节。 资料汇集: scala写点什么 RDD练习 youtube上可以订阅databri原创 2016-12-07 19:48:47 · 638 阅读 · 0 评论