- 博客(4)
- 资源 (17)
- 收藏
- 关注
转载 Hadoop2.7.1 集群部署及自动化脚本
http://blog.csdn.net/zcf1002797280/article/details/49500027实验环境操作系统:ubuntu 14.04 64位主机名IPnamenode10.107.12.10datanode110.107.12.20datanode2
2016-06-30 15:49:01 606
原创 第20课:Spark Streaming中动态Batch Size实现初探
1.BatchDuration与ProcessTime2.动态Batch SizeBatch越小越快,越快越安全Spark.streaming.receiver.maxRate 设置最大速率Spark.streaming.backpressure.rateEstimator要设置成true,最大限定数率
2016-06-21 13:43:34 698
原创 第19课:Spark Streaming架构设计和运行机制大总结
1.sparkStreaming中架构设计和运行机制2.SparkStreaming深度思考 Spark Streaming的本质是在Spark的RDD的基础之上加上了Timer,Timer不断的运行触发周而复始的接受数据,产生Job处理数据。因为时间是流动的,所以加上了时间维度的话,RDD也是流动的,所谓RDD的流动,就是每隔时间间隔,都会有新的RDD实例产生,这个实例来自于DS
2016-06-21 13:42:30 973
原创 第18课:Spark Streaming中空RDD处理及流处理程序优雅的停止
1.SparkStreaming中空RDD处理JobGenerator/** Generate jobsand perform checkpoint for the given`time`. */private def generateJobs(time: Time) { // Set the SparkEnv in this thread, so that jobgene
2016-06-21 13:41:41 2789
wechat-weapp-mapdemo-master.zip
2020-01-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人