- 博客(5)
- 收藏
- 关注
RSS订阅转载 Kafka auto.offset.reset值详解
昨天在写一个java消费kafka数据的实例，明明设置auto.offset.reset为earliest，但还是不从头开始消费，官网给出的含义太抽象了。 earliest: automatically reset the offset to the earliest offset，自动将偏移量置为最早的。难道不是topic中各分区的开始？结果还真不是，具体含义如下：auto.offset.r...
2018-08-30 15:15:22
165
转载 redis集群出现JedisNoReachableClusterNodeException异常(No reachable node in cluster)
Exception in thread "main" redis.clients.jedis.exceptions.JedisNoReachableClusterNodeException: No reachable node in cluster at redis.clients.jedis.JedisSlotBasedConnectionHandler.getConnection(Je...
2018-08-30 14:56:02
2379
1
转载 spark2的SparkSession思考与总结2：SparkSession包含哪些函数及功能介绍
问题导读1.spark SparkSession包含哪些函数？2.创建DataFrame有哪些函数？3.创建DataSet有哪些函数?上一篇spark2：SparkSession思考与总结1http://www.aboutyun.com/forum.php?mod=viewthread&tid=23381版本：spark2我们在学习的过程中，很多都是注重实战，这没有错的，但是如果在刚开始入...
2018-08-19 18:09:59
1935
转载 spark2：SparkSession思考与总结1
问题导读1.你认为为何出现SparkSession？2.SparkSession如何创建RDD？3.SparkSession通过那个类来实例化？4.bulider包含哪些函数？为何出现SparkSession对于spark1.x的版本，我们最常用的是rdd，如果我们想使用DataFrame，则需要通过rdd转换。随着dataframe和dataset使用的越来越多，所以spark就寻找了新的切入点...
2018-08-19 18:00:05
5883
转载 让你真正明白spark streaming（转载自about云）
问题导读1.为什么使用spark streaming？2.什么是StreamingContext？3.什么是DStream？spark streaming介绍Spark streaming是Spark核心API的一个扩展，它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。我们可以从kafka、flume、witter、 ZeroMQ、Kinesis等源获取数据，也可以通过由 高阶函数m...
2018-08-19 17:25:46
1416
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人