2018年01月_步步为赢567

转载 BIO与NIO、AIO的区别(这个容易理解)

http://blog.csdn.net/skiof007/article/details/52873421 IO的方式通常分为几种，同步阻塞的BIO、同步非阻塞的NIO、异步非阻塞的AIO。一、BIO 在JDK1.4出来之前，我们建立网络连接的时候采用BIO模式，需要先在服务端启动一个ServerSocket，然后在客户端启动Socket来对服务端进行通信，默

2018-01-25 19:21:33 422

转载深入理解groupByKey、reduceByKey

下面来看看groupByKey和reduceByKey的区别： val conf = new SparkConf().setAppName("GroupAndReduce").setMaster("local") val sc = new SparkContext(conf) val words = Array("one", "two", "two", "three", "

2018-01-16 11:32:42 1294

转载 Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式

Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式，可以从代码中简单理解成Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据了。一、基于Receiver的方式这

2018-01-12 14:04:02 255

转载第三篇：一个Spark推荐系统引擎的实现

https://www.cnblogs.com/muchen/p/6882465.html第三篇：一个Spark推荐系统引擎的实现阅读目录前言第一步：提取有效特征第二步：训练推荐模型第三步：使用ALS推荐模型第四步：物品推荐第五步：推荐效果评估小结回到顶部前言经过2节对MovieLens数据集的学习，想必读者对M

2018-01-04 17:37:54 1289

转载在Tachyon运行Spark应用程序

https://www.iteblog.com/archives/1498.htmlTachyon是什么Tachyon（/'tæki:ˌɒn/ 意为超光速粒子）是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。Tachyon诞生于UC Berkeley的AMPLab，由该实验室的李浩源童鞋初创。2

2018-01-04 14:51:25 432

转载关于Sentry

http://blog.csdn.net/largetalk/article/details/86408541. Sentry介绍及使用Sentry isa realtime event logging and aggregation platform. At its core it specializesin monitoring errors and extracting al

2018-01-03 11:55:39 721

转载 Apache Curator Leader Election

http://blog.csdn.net/collonn/article/details/43968655用于Leader选举，也可以用Shared Reentrant Lock来实现。如果需要集群中的固定的一台机器去做的事，就可以用此特性来实现，直到这台Leader死去，会产生新的Leader。还有一种典型的场景，master-slave模式。也可以用Curator Leader Electio

2018-01-02 16:16:12 278

转载 Spark Streaming与Storm的对比

http://blog.csdn.net/kwu_ganymede/article/details/50296831Spark Streaming与Storm的对比分析一、Spark Streaming与Storm的对比二、Spark Streaming与Storm的优劣分析事实上，Spark Streaming绝对谈不上比Storm优秀。这两个框架在实时计算领域中，都很优秀，只是擅长的细分场景并

2018-01-02 16:01:51 487

转载 Hadoop/Spark相关面试问题总结

http://blog.csdn.net/qq1010885678/article/details/46916857Hadoop/Spark相关面试问题总结面试回来之后把其中比较重要的问题记了下来写了个总结：（答案在后面）1、简答说一下hadoop的map-reduce编程模型2、hadoop的TextInputFormat作用是什么，如何自定义实现3、hadoop和spark的都是并行计算，那

2018-01-02 15:16:48 533 1

步步为赢的专栏