- 博客(6)
- 收藏
- 关注
RSS订阅原创 Flink consume Kafka
Kafka 6 brokers 挂了两个， 导致flink commit kafka offset 失败， metrics 中kafka lag增加，除了状况发生时的rebalance，消费无影响 According to the description of the official flink document: The Flink Kafka Consumer allows configuring the behaviour of how offsets are committed bac
2021-05-18 14:51:39
96
原创 LCS 问题动态规划实现方案
LCS问题具有最优子结构 令 X=<x1,x2,...,xm>X=<x1,x2,...,xm> 和 Y=<y1,y2,...,yn>Y=<y1,y2,...,yn> 为两个序列，Z=<z1,z2,z3,...,zk>Z=<z1,z2,z3,...,zk>为XX和YY的任意LCS。则 如果xm=ynxm=yn，则zk=xm=ynzk=xm=yn且Zk−1Zk−1是Xm−1Xm−1和Yn−1Yn−1的一个LCS。 如果xm≠ynxm≠yn，
2021-05-18 14:44:08
263
原创 es 脚本重新平衡的问题
es 脚本重新分片 脚本指定分区分片 移动后 command = "curl -H \"Content-Type: application/json\" -XPOST \"" + url + ":9200/_cluster/reroute\" -d '{\"commands\" : [{\"move\" : {\"index\" : \"" + index + "\",\"shard\" : "...
2020-04-13 11:21:21
680
原创 redis 哨兵模式的配置和使用
哨兵模式的原理 下线的判断 ： 主观下线 ： 指的是当前的哨兵 sentinel 对redis 的服务器做出的下线的判断 客观下线 ：指的是多个哨兵得到redis服务器得到下线的结论， 指的是多个 Sentinel 实例在对Master Server做出 SDOWN 判断，并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后，得出的Master Serve...
2020-02-04 16:50:23
250
原创 hivesequencefile和 自定义hive
sequence File 的文件存储格式 SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。目前，也有不少人在该文件的基础之上提出了一些HDFS中小文件存储的解决方案，他们的基本思路就是将小文件进行合并成一个大文件，同时对这些小文件的位置信息构建索引。不过，这类解决方案还涉及到Hadoop的另一种文件格式——MapF...
2020-02-02 23:19:31
229
原创 hive文件存储格式
hive文件存储格式文件存储格式列式存储之parquet列式存储之orc格式snappy 压缩 文件存储格式 hive支持的文件存储格式主要textFile , sequenceFile ,orc , parquet file ，text file 和 sequencefile 都是基于行式存储的 。 orc 和 parquet file 是列式存储存储的 ， 可以针对性的设计更好的压缩算法。 ...
2020-02-02 16:17:00
248
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人