- 博客(6)
- 收藏
- 关注
RSS订阅原创 Flink Sql代码举例
import org.apache.flink.api.scala._import org.apache.flink.table.api.{Table, TableConfig, TableEnvironment}import org.apache.flink.types.Rowobject FlinkSqltest { def main(args: Array[String]): Unit = { val env = ExecutionEnvironment.getExecutionEn
2020-06-09 17:30:35
384
1
原创 Flink容错机制
Flink故障恢复机制的核心，就是应用状态的一致性检查点（Checkpoint）有状态流应用的一致性检查点，就是在某个时间点的一份拷贝（一份快照），在这个时间点是所有任务都恰好处理完一个相同的输入数据的时间此应用有一个source task，消费一个递增数的流，如1，2，3等等。流中的数据被分区到一个基数流，一个偶数流。在一个sum operator中，有两个task，分别用于累加基数与偶数。Source task 存储当前输入流的偏移量作为state。Sum task 将当前的累加和作为state.
2020-06-03 15:39:41
140
原创 Flink连接kafka处理数据并存入redis中
scala 写Flink读取kafka数据处理并存入redis中import java.util.Propertiesimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.connectors.kafka.{FlinkKafkaConsumer011, FlinkK
2020-05-21 11:22:33
1193
1
原创 linux虚拟机安装redis 报错解决
/bin/sh: cc: 未找到命令make[1]: *** [adlist.o] 错误 127make[1]: 离开目录“/root/app/redis-5.0.5/src”make: *** [all] 错误 2解决方式：yum -y install gcc automake autoconf libtool makIn file included from adlist.c:34:0:zmalloc.h:50:31: 致命错误：jemalloc/jemalloc.h：没有那个文件或目录
2020-05-20 17:42:06
257
原创 scala leetcode 70.爬楼梯
使用动态规划的方式，假设共n个台阶，第（n-1）个台阶到n跨1个台阶，第（n-2）个台阶到n跨2个台阶，所以到n阶的方式为到（n-1）的方法数加到（n-2）的方法数 def climbStairs(n: Int): Int = { val arr = new Array[Int](n + 1) if(n==1){ return 1 }else if (n>=2){ arr(1) = 1 arr(2) = 2 for (i .
2020-05-18 15:39:29
172
原创 scala leetcode题 69 x的平方根
实现 int sqrt(int x) 函数。计算并返回 x 的平方根，其中 x 是非负整数。由于返回类型是整数，结果只保留整数的部分，小数部分将被舍去。输入: 4输出: 2输入: 8输出: 2说明: 8 的平方根是 2.82842..., 由于返回类型是整数，小数部分将被舍去。scala 使用二分查找的方法解决 def mySqrt(x: Int): Int = { if (x == 0) return 0 if (x == 1) return 1
2020-05-15 16:16:23
177
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人