白乔专栏

资深感性程序员,大数据爱好者,中国科学院博士

kafka开发笔记

最近又要用上kafka,发现原来趟过的坑又趟过了一次 在这里做一下笔记,提醒以后注意: 如果连不上brokers,consumer.poll()会阻塞 同一个topic、同一个group的consumer,会彼此影响,哪怕前面的Test跑完了,后面创建的是新的consumer(这个至关重要) p...

2017-08-28 16:58:12

阅读数 219

评论数 1

spark sql对seq值的包装

spark sql对seq(s1, s2, s3, …)值的包装,seq的每个元素si会被包装成一个Row 如果si为一个简单值,则生成一个只包含一个value列的Row 如果si为一个N-Tuple,则生成一个包含N列的Row特别的,如果N-Tuple是一元组,则视为非元组,即生成一个只包含...

2017-08-23 20:53:52

阅读数 3485

评论数 1

理解scala的元组类型

scala> classOf[(Int,String)] res10: Class[(Int, String)] = class scala.Tuple2scala> classOf[(String,String)] res11: Class[(String, String)] = c...

2017-08-06 11:22:49

阅读数 365

评论数 1

提示
确定要删除当前文章?
取消 删除