spark
步步为赢567
毕业于华中科技大学,硕士研究生
展开
-
SparkContext的parallelize的参数
1.解释- 并行集合的创建(RDD)使用已经存在的迭代器或者集合通过调用spark驱动程序提供的parallelize函数来创建并行集合- 并行集合被创建用来在分布式集群上并行计算的。2.例子data = [1, 2, 3, 4, 5]distData = sc.parallelize(data)一旦创建RDD,RDD,就可以在集群上并行的去被操作。我们可以调用di原创 2017-08-22 15:24:56 · 14486 阅读 · 0 评论 -
Spark 1.6 内存管理模型( Unified Memory Management)分析
http://www.jianshu.com/p/b250797b452a2016年1月4号 Spark 1.6 发布。提出了一个新的内存管理模型: Unified Memory Management。这篇文章会详细分析新的内存管理模型,方便大家做调优。前言新的内存模型是在这个Jira提出的,JIRA-10000,对应的设计文档在这:unified-memory-managem转载 2017-11-08 11:58:44 · 577 阅读 · 0 评论 -
Apache Spark Jobs 性能调优(一)
https://www.zybuluo.com/xiaop1987/note/76737原文地址:http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-1/Apache Spark Jobs 性能调优(一)Spark 是如何执行程序的选择正确的 Oper转载 2017-11-08 21:10:05 · 305 阅读 · 0 评论 -
Apache Spark Jobs 性能调优(二)
http://blog.csdn.net/wisgood/article/details/51436177原文地址:http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/Apache Spark Jobs 性能调优(二)调试资源分配调试并发压转载 2017-11-08 21:35:25 · 253 阅读 · 0 评论 -
Spark Streaming与Storm的对比
http://blog.csdn.net/kwu_ganymede/article/details/50296831Spark Streaming与Storm的对比分析一、Spark Streaming与Storm的对比二、Spark Streaming与Storm的优劣分析事实上,Spark Streaming绝对谈不上比Storm优秀。这两个框架在实时计算领域中,都很优秀,只是擅长的细分场景并转载 2018-01-02 16:01:51 · 487 阅读 · 0 评论 -
Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式
Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式,可以从代码中简单理解成Receiver方式是通过zookeeper来连接kafka队列,Direct方式是直接连接到kafka的节点上获取数据了。一、基于Receiver的方式这转载 2018-01-12 14:04:02 · 255 阅读 · 0 评论 -
第三篇:一个Spark推荐系统引擎的实现
https://www.cnblogs.com/muchen/p/6882465.html第三篇:一个Spark推荐系统引擎的实现阅读目录前言第一步:提取有效特征第二步:训练推荐模型第三步:使用ALS推荐模型第四步:物品推荐第五步:推荐效果评估小结回到顶部前言 经过2节对MovieLens数据集的学习,想必读者对M转载 2018-01-04 17:37:54 · 1289 阅读 · 0 评论 -
深入理解groupByKey、reduceByKey
下面来看看groupByKey和reduceByKey的区别: val conf = new SparkConf().setAppName("GroupAndReduce").setMaster("local") val sc = new SparkContext(conf) val words = Array("one", "two", "two", "three", "转载 2018-01-16 11:32:42 · 1295 阅读 · 0 评论