- 博客(5)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 SPark单词统计
package com.org.spark.test;import com.google.common.collect.Lists;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import
2016-12-21 19:55:19
630
转载 Spark on Yarn集群搭建详细过程
由于最近学习大数据开发，spark作为分布式内存计算框架，当前十分火热，因此作为首选学习技术之一。Spark官方提供了三种集群部署方案：Standalone, Mesos, Yarn。其中Standalone 为spark本身提供的集群模式，搭建过程可以参考官网，本文介绍Spark on Yarn集群部署过程。使用3台普通机器搭建Spark集群，软件环境：Ubuntu 16.0
2016-12-14 11:42:07
745
原创 scala + intellij idea 环境搭建及编译、打包
1、下载scala sdkhttp://www.scala-lang.org/download/ 直接到这里下载sdk，目前最新的稳定版为scala-2.12.1，下载后解压就行（后面在intellij idea中创建.scala后缀源代码时，ide会智能感知并提示你设置scala sdk，按提示指定sdk目录为解压目录即可）2、下载scala for intellij i
2016-12-09 17:51:00
854
原创 打包超级jar包
1、工程右键，选择Open Module Setting ----------->Artifacts2、工程右键，选择Open Module Setting ----------->Artifacts
2016-12-08 15:08:48
454
转载 Spark内核介绍
相信大数据工程师都非常了解Hadoop MapReduce一个最大的问题是在很多应用场景中速度非常慢，只适合离线的计算任务。这是由于MapReduce需要将任务划分成map和 reduce两个阶段，map阶段产生的中间结果要写回磁盘，而在这两个阶段之间需要进行shuffle操作。Shuffle操作需要从网络中的各个节点 进行数据拷贝，使其往往成为最为耗时的步骤，这也是Hadoop MapReduc
2016-12-05 11:41:27
364
epel-release-6-8.noarch
2016-04-01
centos安装telnet插件与说明
2016-02-01
centos安装telnet使用
2015-10-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人