- 博客(4)
- 收藏
- 关注
原创 Spark Streaming之二:DStream解析
1.0前言目前Spark Streaming编程指南地址:http://spark.apache.org/docs/latest/streaming-programming-guide.html1.1基本说明1.1.1 DurationSpark Streaming的时间类型,单位是毫秒;生成方式如下:
2015-01-24 21:34:42 9209
原创 Spark Streaming之一:StreamingContext解析
1.0 前言目前Spark Streaming编程指南地址:http://spark.apache.org/docs/latest/streaming-programming-guide.html1.1 创建StreamingContext对象1.1.1通过SparkContext创建源码如下:def this(sparkContext:SparkCon
2015-01-21 12:04:43 7363
原创 基于Spark构建推荐引擎之一:基于物品的协同过滤推荐
1、Spark构建推荐引擎之一:基于物品的协同过滤推荐1.0 前言目前SparkMLlib支持的推荐算法只有alternating least squares (ALS)这一种,相比较Mahout中的推荐算法,SparkMLlib目前不能支持目前的业务需求;因此,参照Mahout的推荐引擎,在Spark上构建同样一套推荐算法,以支持各种业务需求。目前SparkMLlib官方网址:h
2015-01-15 10:14:04 12949 5
原创 Spark SQL 1.2(building-spark1.2, sparksql on hive,spark-sql)
1、Spark SQL 1.2(building-spark1.2,sparksql on hive,spark-sql)1.1补充——Spark1.2编译Spark官方编译指南地址:http://spark.apache.org/docs/latest/building-spark.html1)ssh脚本编译Spark源文件根目录下:make-distributi
2015-01-07 10:04:23 2243
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人