大数据
fyq2016
一个工地搬砖的
展开
-
redis的持久化
Redis的持久化rdbrdb简介rdb配置rdb的优缺点aofaof简介配置AOF的重写机制AOF 的优缺点aof文件实例rdb和aof共存rdbrdb简介RDB 是 Redis 默认的持久化方案。在指定的时间间隔内,执行指定次数的写操作,则会将内存中的数据写入到磁盘中。即在指定目录下生成一个dump.rdb文件。Redis 重启会通过加载dump.rdb文件恢复数据。Redis 在写 ...原创 2019-12-22 19:04:51 · 107 阅读 · 0 评论 -
Kafka的IRS
Kafka ISRkafka replicaData Replication如何Propagate(扩散出去)消息?Data Replication何时Commit?Data Replication如何处理Replica恢复Data Replication如何处理Replica全部宕机kafka replica当某个topic的replication-factor为N且N大于1时,每个Par...转载 2019-12-22 09:49:11 · 416 阅读 · 0 评论 -
记ES使用中的一个坑
记一个ES小坑ES使用中的一个注意事项ES使用中的一个注意事项最近运维同学发现,系统好多ES报错,经调查发现是ES参数拼接过程中使用了StringBuilder来拼接JS字符串,value中的特殊字符让ES无法解析JSON,解决方案很简单:将反斜杠和双引号(【\】【"】)分别替换成【\】【"】即可,注意有先后,要先替换反斜杠,在替换双引号也可以使用第三方的JSON工具来实现JSON转换效果(...原创 2019-12-15 11:10:51 · 422 阅读 · 0 评论 -
Neo4j VS TigerGraph横向对比
Neo4j VS TigerGraph横向对比结果对比版本技术细节单机性能集群方式计费方式Neo4j和TigerGraph都是非常优秀的图数据库,有幸做过两者的对比,现总结如下:横向对比结果对比版本Neo4j 3.1.0企业版TigerGraph0.9.x(老版本,当时还叫graphSQL)技术细节TigerGraph创建点类型的时候,必须指定此类型的点的key;Neo4j无需...原创 2019-12-15 11:02:26 · 2666 阅读 · 0 评论 -
Kafka客户端(2.1.0)
Kafka的客户端程序准备工作生产者普通生产者带回调的生产者自定义分区策略实现Partitioner 接口在配置项中指定Partitioner类同步生产者消费者简单消费者重置offset设置offset重置策略为earliest设置offset重置策略为latest设置offset重置策略为none手动提交offset准备工作要使用kafka的客户端,首先要引入Kafka客户端的依赖,下面是2...原创 2019-12-08 17:47:51 · 475 阅读 · 0 评论 -
Kafka2.1.0允许远程连接
Kafka集群模式启动后,直接用控制台的producer、consumer去收发消息,会有异常提示,这是因为默认的kafka是不支持远程连接导致的我们观察server.properties配置文件,重点关注31和36行先看看listeners这个配置项The address the socket server listens on. It will get the value return...原创 2019-12-01 17:49:00 · 2229 阅读 · 0 评论 -
混乱的Kafka命令行客户端连接方式
混乱的Kafka命令行客户端连接方式初次使用Kafka(版本2.1.0)命令行客户端,发现Topic、Producer、Consumer等各个命令行工具连接Kafka服务器的方式各不相同,在此做个记录支持 --bootstrap-server 的kafka-console-consumer.shkafka-consumer-groups.sh支持 --broker-list 的kaf...原创 2019-12-01 14:42:41 · 1383 阅读 · 0 评论 -
常见的集群Leader(Master)选举机制
常见的Leader选举机制常见的Leader选举机制1、投票制2、借助ZK常见的Leader选举机制1、投票制投票制的一般流程在集群启动或Leader宕机时,会先比较所有实例的事务号,以具有最新事务的实例作为Leader,若多个实例都有最新的事务号,则从中随机取一个(或根据实例ID选取最大或最小的,看具体实现)作为Leader,Follower再从新的Leader中同步事务。总结来说,有...原创 2019-12-01 11:22:48 · 1592 阅读 · 0 评论 -
Flink的状态和状态后端
Flink的状态和状态后端Flink的状态类型Keyed StateOperator State可插拔状态后端Exactly-once的状态一次性Flink是有状态的流处理Flink的状态类型Keyed State和key相关的状态Operator State算子任务中的状态可插拔状态后端Exactly-once的状态一次性...原创 2019-11-26 14:03:49 · 605 阅读 · 0 评论 -
Flink的Window机制
Flink的Window机制FlinkWindow的分类Flink的Window可以分为两大类,五小类时间窗口窗口类型说明举例滚动时间窗口以一定的时常分隔的时间每一个时间段都是一个window若间隔=15秒,那么一分钟可以切割成如下窗口0-15,15-30,30-45,45-60,前闭后开区间滑动时间窗口以特定的步长(step)增长的,时长(size)...原创 2019-11-19 21:33:03 · 136 阅读 · 0 评论 -
Flink笔记
使用Flink分四部创建执行环境添加SourceTransformSink创建执行环境Flink支持 批处理 和 流处理,两者创建执行环境的API是不一样的,创建批处理env的代码如下:val env = ExecutionEnvironment.getExecutionEnvironment创建流处理env的代码如下:val env = StreamExecution...原创 2019-11-16 21:55:12 · 132 阅读 · 0 评论