什么是Flink

1.基本概念: Flink是一个面向分布式数据流处理和批处理数据的开源计算平台,能够基于同一个flink运行,可以提供流处理和批处理两种类型的功能. 提供的SLA(Service-Level-Aggreement)是不同的: 流处理一般需要支持低延迟,Exactly-once保证 ,输...

2018-10-24 14:48:10

阅读数:60

评论数:0

以Java调用R,并进行画图

上代码 package com.fandatsys.dams.core.profiling.types; import com.fandatsys.dams.core.profiling.DatasetColumnChartingProfileType; import com.fandatsys...

2018-10-23 10:50:55

阅读数:90

评论数:0

Kafka面试题参考

1.Kafka的设计时什么样的呢? Kafka将消息以topic为单位进行归纳 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker. prod...

2018-10-23 10:22:50

阅读数:269

评论数:0

使用Sparksql计算数据库表中某一列字段的中位数

该方法是基于Sparksql内置函数进行计算 我先上代码: dataset和columnName最为参数,columnName是字段名,dataset是什么不说了,首先通过得到columnName字段在dataset中的下标位置,再通过withColumn在dataset表最后添加一列&...

2018-10-22 16:16:17

阅读数:153

评论数:0

使用Sparksql求数据库表中单列字段中出现次数最高的值,以及出现的次数

该方法是基于Sparksql的内置函数进行计算 我先上代码: dataset和columnName作为参数,dataset是什么就不说了,columnName就是我要执行的字段名 首先通过dataset.groupBy(columnName)对该字段进行分组,再count(dataset.col...

2018-10-22 15:11:55

阅读数:89

评论数:0

[Ljava.lang.Object; cannot be cast to [Ljava.lang.String;

在做java的jdbc的时候,我需要将ResultSet的结果保存到集合中,再将集合转换为数组,但是转换为数组后,数组类型变成了Object类型,我需要得到String类型的数组,所以我将它强制类型转换了一下: String[] array = (String[]) areaList.toArr...

2018-09-18 13:58:29

阅读数:123

评论数:0

kafka性能优化详解

KAFKA Cluster模式最大的优点:可扩展性和容错性。下图是关于Kafka集群的结构图: 一、Kafka Broker个数决定因素 二、操作系统优化 大部分Linux发布版本默认的内核参数配置能让大部分应用工作的相当好。但对于实际的Kafka broker场景来说,做稍些改变会提升bro...

2018-09-18 12:53:04

阅读数:167

评论数:0

Spark性能优化详解

Spark性能优化详解 1.对集群分配更多的资源 在提交任务时,在–total-executor-cores,–executor-memory,–driver-memory参数上分配 分配cpu core,memory 给executor分配更多的内存,能够减少executor频繁gc,因...

2018-08-10 10:32:47

阅读数:768

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭