2019年03月_JasonLee实时计算

原创【Flink实战系列】Flink 如何自定义 sink 实时写入到 mysql

Flink写入mysql其实也很简单,只用继承RichSinkFunction这个类,重写里面的方法就行了.具体的实现如下:/** * 把结果保存到mysql里面 */class MySQLSink extends RichSinkFunction[List[ItemViewCount]] with Serializable { var connection: sql.Conn...

2019-03-23 15:34:48 4061

原创【Spark实战系列】spark 如何实现自定义分区策略

spark默认是提供了两种分区器,HashPartitioner和RangePartitioner,但是有的时候不能满足我们实际的需求,这个时候我们可以自定义一个分区器,也非常的简单.看下面一个demo,把key是偶数的放到一个分区,key是奇数的放到另一个分区.package sparkimport org.apache.spark.{Partitioner, SparkConf, S...

2019-03-22 12:51:39 2511

原创【Spark实战系列】sparkstreaming 消费 kafka0.10 中的 LocationStrategies 和 ConsumerStrategies 代表的是什么含义?

LocationStrategies新的Kafka使用者API将预先获取消息到缓冲区。因此，出于性能原因，Spark集成将缓存的消费者保留在执行程序上（而不是为每个批处理重新创建它们），并且更喜欢在具有适当使用者的主机位置上安排分区，这一点很重要。在大多数情况下，您应该使用LocationStrategies.PreferConsistent，如上所示。这将在可用执行程序之间均匀分配分区。...

2019-03-13 14:18:44 5888 4

原创 java二分查找算法实现

java二分查找算法的实现过程:package arithmetic;/** * @author JasonLee * @description java的二分查找(折半查找),前提是数组中的数据是有序的 * 思想:搜索过程从数组的中间元素开始，如果中间元素正好是要查找的元素，则搜索过程结束；如果某一特定元素大于或者小于中间元素， * 则在数组大于或小于中间元素的那一半中查找，而...

2019-03-09 19:54:19 721

原创 java冒泡排序算法实现

简单的总结一下冒泡排序的实现:package arithmetic;/** * @author JasonLee * @description java的冒泡排序算法 * 原理:比较两个相邻的元素,将值大的元素交换至右端 */public class BubblingSort { public static void main(String[] args) { ...

2019-03-09 19:25:49 327

原创 scala中怎么跳出循环

在java中跳出循环的时候,我们可以直接break就行了,但是在scala里面没有break,那怎么跳出循环呢?直接看下面的demo:package testimport scala.util.control.Breaksobject ListDemo { def main(args: Array[String]): Unit = { var loop = Break...

2019-03-07 21:10:56 1975

原创 scala中的list怎么存储对象

scala中的list是一个不可变的列表,有时候我们想直接添加对象不太方便,这个时候可以先转成java的List添加完再转回去.LIst支持在头部快速添加和移除条目，但是不提供快速按下标访问的功能，这个功能需要线性遍历列。快速的头部添加和移除意味着模式匹配很顺畅List列表跟数组非常像，2者都是同构的，同一个列表的所有元素必须是相同类型。如果我们想要往一个list里面存一个obje...

2019-03-05 22:16:12 2601

原创提高独立解决问题的能力

最近在群里发现的一些问题第一个是很多同学问问题都抓不住核心,问完让人不知道你想表达什么,有的看到了不知道从哪回答,流没有理会了,我简单的举几个例子.比如,我的程序刚才运行还没问题呢,现在跑就报错了,或者是我的程序跑着跑着就消费不到数据了,再比如说,我的程序为什么越跑越慢,如果这样问的话,就是大罗神仙来,他也不知道什么原因,大家每天都很忙,所以问题一定要切入核心,表述要简明扼要,尽量表达准确...

2019-03-04 23:03:49 1195 2

JasonLee实时计算