DraGon_HooRay的博客

MHA为主从复制的MySQL集群提供了主节点故障转移的功能，但是如果此时你需要实现读写分离的话，就需要引入其他技术组件了，ProxySQL就是个不错的选择，它可以通过 read_only 参数自动识别MySQL集群中的读节点和写节点，从而实现读与写的分离操作。如果担心 ProxySQL 会发生单点故障，下面文章同样提供了集群版的 ProxySQL 实现方案（通过 Keepalived 实现）。

服务器规划现状（CentOS7.x）新增服务器IP：192.168.x.106 主机名：mysql04 部署角色：mysql新增后服务器规划（CentOS7.x）将安装包 mysql_cluster_ha_pack.zip 上传至新增服务器，并解压（需要包请私我）。上传位置 /root/

服务器规划（CentOS7.x）将安装包 mysql_cluster_ha_pack.zip 上传至集群所有服务器，并解压（需要包请私我）。上传位置 /root/

在 Usage 说明中能看到 fixMeta 能够修复 ‘holes’，‘overlaps’ 等 region 问题，也就是确保表里的所有 region 都是 OPEN 状态再进行此操作，确保不会对集群造成额外的影响。解决方法和上面的 holes 一样，需要注意的是也要保证所有的 region 状态正常处于OPEN。等待一段时间，这个过程可以监控 master 日志，如果一切顺利问题就解决啦。最下面红框内展示了哪两个 region 存在重叠问题。【解决 region 目录为空问题】

hbase2.x orphan regions on filesystem在region上线后很容易产生region重叠（region overlap）问题，也就是region范围发生了交叉。使用assigns操作将检查出来未上线的region上线，一次可以上线多个region，用空格隔开，如果返回不是[-1]，说明上线成功。第一种方法如果失败，可以尝试这个方法，他会将指定region目录下的所有数据导入到指定的表中。1、使用hbck2修复工具指定region上线。

Greenplum command centerAgent is stopped on seg1[CRITICAL] ControlCommand:agent cannot start due to no RPC connection failure rpc error:code = Unavaliable desc = connection error:desc = "transport: Error while dialing dial tcp:lookup gp1 on 223.5.5.5:53

gp服务正常，存在部分segment实例丢失gp启动失败，segment实例可用数已不足一半gprecoverseg gprecoverseg -F gprecoverseg -已知可能造成segment丢失的原因：频繁的内存溢出。可能存在的问题：数据目录存在目录或文件权限不足、损坏文件等。gpstart -v 查看启动日志明细

ERROR: tuple to be updated was already moved to another segment due to concurrent update

Kafka 作为一个分布式事件暂存和中转系统，最重要的两个功能便是，往 Kafka 生产数据的生产者 KafkaProducer，和从 Kafka 拉取数据消费的消费者 KafkaConsumer。今天我们主要讲解消费者，KafkaConsumer。

1、pg_dump为greenplum数据库自带工具，可直接使用2、这里使用gp1作为源greenplum数据库标识，gp2作为目标数据库标识3、pg_dump为greenplum提供的非并行数据迁移工具，所以整个操作过程只需要在两个集群的主节点即可4、pg_dump会将迁移的数据从segment节点拉到master主节点，所以需要注意一次迁移的数据量，防止主节点磁盘爆满1、gp1执行转储命令2、将 /data/pg_dump/byt.sql 迁移到gp2的主节点相同位置3、确保 gp2 中的目标数

主要原因还是因为加载不到配置项，并且加载配置使用了flink提供的api ParameterTool工具类，更奇怪的是在idea开发测试运行成功，拿到服务器运行就报错。

服务器掉电后重启服务器，并重启Hadoop、Zookeeper、HBase服务后，进程均一切正常，但是在HBase Web界面查看不到一张表，包括元数据表。使用 shell 命令扫描数据表提示表不存在错误。看下Master的日志，发现一条WARN日志：hbase:namespace,,1602737534746.41cb240b37c7ba2e67a1bff035799b61. is NOT online; state={41cb240b37c7ba2e67a1bff035799b61 state=OPE

时间轮是一个高性能、低消耗的数据结构，它适合用非准实时，延迟的短平快任务，例如心跳检测。在Netty、Kafka、Zookeeper中都有使用。时间轮可通过时间与任务存储分离的形式，轻松实现百亿级海量任务调度。Netty动辄管理100w+的连接，每一个连接都会有很多超时任务。比如发送超时、心跳检测间隔等，如果每一个定时任务都启动一个Timer，不仅低效，而且会消耗大量的资源。其他一些属性：概括时间轮工作流程（阅读Netty3.10.6）源码代码做了删减,只体现重点时间轮构造器：初始化了时间轮大小、每

java 位运算总结：一个数 number % 8 等价于 number & 7一个数 number / 8 等价于 number >>> 3number % n 等价于 number & (n-1)number / 2^n 等价于 number >>> n

首先 flink 的窗口分配是发生在 StreamTask 初始化的过程中。核心方法是 TumblingProcessingTimeWindows.assignWindows(…)// TODO : 在初始化StreamTask的时候需要分配好窗口 @Override public Collection<TimeWindow> assignWindows( Object element, long timestamp, WindowAssignerCo

acks描述：producer 发送数据服务端的响应级别acks = all/-1 : 表示kafka isr列表中所有的副本同步数据成功，才返回消息给客户端acks = 0 ：表示客户端只管发送数据，不管服务端接收数据的任何情况acks = 1 ：表示客户端发送数据后，需要在服务端 leader 副本写入数据成功后，返回响应min.insync.replicas描述：Kafka ISR 列表中最小同步副本数默认 min.insync.replicas = 1当 acks = all

项目场景：在 docker 部署或云服务器上部署，需要内外网分流的时候。在Windows上连接阿里云服务器上部署的Kafka服务报错问题描述：Idea中创建Consumer报错：java.lang.IllegalStateException: No entry found for connection 2147483609解决方案：方案一：在客户端机器上修改hosts文件，配置上kafka所在服务器的hosts文件内的映射关系。这显然不是明智之举，不安全且麻烦。方案二：在公司内网部