小黑的博客

Kafka Consumers Offset Committing Behaviour ConfigurationThe Flink Kafka Consumer allows configuring the behaviour of how offsets are committed back to Kafka brokers (or Zookeeper in 0.8). Note that the Flink Kafka Consumer does not rely on the committed.

1、首先找到项目目录找到文件夹 .idea2、修改scala_compiler.xml文件3、删除包含-make:transitive的参数行4、保存退出5、重新打开项目OK

并发：在操作系统中，是指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个处理机上运行，但任一个时刻点上只有一个程序在处理机上运行并行：并行处理是计算机系统中能同时执行两个或多个处理的一种计算方法。并行处理可同时工作于同一程序的不同方面。并行处理的主要目的是节省大型和复杂问题的解决时间。为使用并行处理，首先需要对程序进行并行化处理，也就是说将工作各部分分配到不同处理...

scala当中的reduce可以对集合当中的元素进行归约操作。reduce包含reduceLeft和reduceRight。reduceLeft就是从左向右归约，reduceRight就是从右向左归约。```(1 to 9).reduceLeft( _ * _) //相当于1 * 2 * 3 * 4 * 5 * 6 * 7 * 8 * 9 (1 to 9).reduceLeft( _ + _...

在spark中，RDD、DataFrame、Dataset是最常用的数据类型，本博文给出笔者在使用的过程中体会到的区别和各自的优势共性：1、RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利2、三者都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历运算，极端情况下，...

交集对于非Set集合，在做交集时必须转换为Set，否则元素不去重没有意义。 List(1, 2, 3, 4).toSet Set(1, 2, 3, 4) & Set(5, 6, 4, 7) // &方法等同于interset方法 Set(1, 2, 3, 4) intersect Set(5, 6, 4, 7)结果：5, 1, 6, 2, 7,...