- 博客(5)
- 收藏
- 关注
原创 算法-水位-无重复字符的最长子序列
算法-水位-无重复字符的最长子串1 概述1.1 题目出处https://leetcode-cn.com/problems/longest-common-subsequence/1.2 题目描述给定一个字符串,请你找出其中不含有重复字符的 最长子串 的长度。示例 1:输入: “abcabcbb”输出: 3解释: 因为无重复字符的最长子串是 “abc”,所以其长度为 3。示例 2:...
2020-03-31 16:43:39 223 1
原创 算法-动态规划-爬楼梯
算法-动态规划-爬楼梯1 概述1.1 题目出处https://leetcode-cn.com/problems/climbing-stairs1.2 题目描述假设你正在爬楼梯。需要 n 阶你才能到达楼顶。每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢?注意:给定 n 是一个正整数。示例 1:输入: 2输出: 2解释: 有两种方法可以爬到楼顶。1 阶 ...
2020-03-31 10:31:35 1123
原创 Flink-流平台调研
Flink-流平台调研1 flinkStreamSQLflinkStreamSQL是袋鼠云大数据团队基于开源的flink,对其实时sql进行了扩展;主要实现了流与维表的join,支持原生flink SQL所有的语法。优点是可以纯SQL的方式提交应用运行。缺点是目前版本只支持到Flink 1.8,不支持1.9以后的Blink特性,很多函数都无法使用需要自己写UDF。提了个issue,回复说...
2020-03-26 14:27:17 1670
原创 HDFS租约与Flink StreamingFileSink
1 概述HDFS文件的特点是一次写多次读并且不支持客户端的并行写操作,hdfs采用租约机制来保证对文件的互斥操作。某个DFSClient打开文件流时,该DFSClient即为租约持有者(LeaseHolder),租约由NameNode发放。租约就是在规定时间内拥有写文件权限的许可凭证,HDFS提供Lease机制来保证写入数据的一致性。也就是说,租约是HDFS给予客户端的一个写...
2020-03-14 15:04:27 1354
原创 Flink-StreaimingFileSink-自定义序列化-Parquet批量压缩
Flink-StreaimingFileSink-自定义序列化-Parquet批量压缩1 Maven依赖Flink有内置方法可用于为Avro数据创建Parquet writer factory。要使用ParquetBulkEncoder,需要添加以下Maven依赖:<dependency> <groupId>org.apache.flink</groupI...
2020-03-09 12:37:19 4817 11
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人