- 博客(4)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Scope provided在IDEA中不起作用
短短两个星期中，我已经两次遇到maven的scope问题了。该长点记性了。 compile: This is the default scope, used if none is specified. Compile dependencies are available in all classpaths of a project. Furthermore, those dependenc
2017-07-17 10:30:16
8190
2
原创 Spark 共享变量
Spark中有两种类型的共享变量：一个是累加器accumulator、一个是广播变量broadcast variable。 累加器：用来对信息进行聚合 广播变量：用来高效分发较大的对象一. 累加器累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数，如：统计日志中空行数、统计错误行数等。用法：通过调用JavaSparkContext.accumulator(initivalVa
2017-07-13 15:48:44
2592
原创 Kafka auto.offset.reset值详解
昨天在写一个java消费kafka数据的实例，明明设置auto.offset.reset为earliest，但还是不从头开始消费，官网给出的含义太抽象了。 earliest: automatically reset the offset to the earliest offset，自动将偏移量置为最早的。难道不是topic中各分区的开始？结果还真不是，具体含义如下：auto.offset.res
2017-07-06 11:25:22
207847
34
原创 spark基础
1. Spark概述1.1Spark是什么 Spark是内存计算系统，2009年它出品于UCBerkeley AMPLab伯克利下属实验室，它最早是一片博士论文，论述如何提高map和reduce的效率。后来就针对这篇论文写出了相应的实现。2013年6月捐赠了给Apache，2014年2月成为Apache的顶级项目。 最大节点的集群来自腾讯，8000个节点，单个job最大分别是阿里巴巴
2017-07-04 09:23:38
825
多组件版本升级策略文档如何？
2016-01-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人