自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

maixia24的专栏

https://github.com/xiaofateng/

  • 博客(3)
  • 资源 (16)
  • 收藏
  • 关注
全部文章> 2015年08月
排序：
按最后发布时间
按访问量
RSS订阅
08月 04月 02月 01月

原创 Spark入门三部曲之第一步Spark基础知识

Spark运行环境 Spark 是Scala写的, 运行在JVM上。所以运行环境是Java6或者以上。 如果想要使用 Python API，需要安装Python 解释器2.6版本或者以上。 目前Spark(1.2.0版本) 与Python 3不兼容。 Spark下载 下载地址：http://spark.apache.org/downloads.html，选择Pre-built for H...

2015-08-04 13:18:00 10620

原创 Spark入门三部曲之第二步Spark开发环境搭建

使用Scala+IntelliJ IDEA+Sbt搭建开发环境提示搭建开发环境常遇到的问题：1.网络问题，导致sbt插件下载失败，解决方法，找到一个好的网络环境，或者预先从我提供的网盘中下载jar(链接：http://pan.baidu.com/s/1qWFSTze 密码：lszc)将下载的.ivy2压缩文件，解压后，放到你的用户目录下。2.版本匹配问题，版本不匹配会遇到各种问题，解决方法，按照如下

2015-08-04 13:13:01 3609

原创 Spark入门三部曲之第三步Spark程序的开发和运行及WordCount

Spark入门三部曲之第三步Spark程序的开发和运行及WordCount编写wordcount程序手动导入包：import org.apache.spark.SparkContext._val conf = new SparkConf().setAppName(“wordCount”)// 创建一个Spark Context. val sc = new SparkContext(conf) v

2015-08-04 13:05:24 1755

(12)使用数据分区优化join
数据分区 设计RDD的Partitioner

2015-06-10

(10)KeyValue对RDDs(二)
(10)KeyValue对RDDs(二)

2015-06-10

(9)KeyValue对RDDs(一)
KeyValue对RDDs介绍 创建KeyValue对RDDs KeyValue对RDDs的操作

2015-06-10

(8)RDDs的特性
RDDs的血统关系图 RDDs的延迟计算 RDD.persist()

2015-06-10

(7)RDDs基本操作之Actions
RDDs基本操作之Actions

2015-06-10

(6)RDDs基本操作之Transformations
Transformations介绍 逐元素transformations 集合运算

2015-06-10

(5)RDDs介绍
RDDs介绍 RDDs的创建方法 Scala的基础知识

2015-06-10

(3)Spark开发环境搭建
使用Scala+IntelliJ IDEA+Sbt搭建开发环境

2015-06-10

(2)Spark基础知识
Spark下载 Spark的Shells Spark的核心概念

2015-06-10

(1)Spark简介
从bigdatastudy.cn下载的讲义

2015-06-10

perl-base_5.14.2-6ubuntu2.4_amd64
mysql安装时候遇到依赖问题，这是需要的包。 详情见： http://blog.csdn.net/maixia24/article/details/43410093

2015-02-02

hadoop-eclipse-plugin-1.2.1.jar
hadoop eclipse 插件，编译环境 hadoop1.2.1+ eclipse 版本 Version: Kepler Service Release 1 在我的ubuntu下亲测可用

2013-10-27

advanced rest client json文件
advanced rest client 需要加载的json文件

2013-04-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除