总要冲动一次-CSDN博客

原创 ProxySQL集成MHA的单机部署和集群部署方式

MHA为主从复制的MySQL集群提供了主节点故障转移的功能，但是如果此时你需要实现读写分离的话，就需要引入其他技术组件了，ProxySQL就是个不错的选择，它可以通过 read_only 参数自动识别MySQL集群中的读节点和写节点，从而实现读与写的分离操作。如果担心 ProxySQL 会发生单点故障，下面文章同样提供了集群版的 ProxySQL 实现方案（通过 Keepalived 实现）。

2023-03-21 19:39:18 602 1

原创 MySQL MGR 集群新增节点

服务器规划现状（CentOS7.x）新增服务器IP：192.168.x.106 主机名：mysql04 部署角色：mysql新增后服务器规划（CentOS7.x）将安装包 mysql_cluster_ha_pack.zip 上传至新增服务器，并解压（需要包请私我）。上传位置 /root/

2023-02-22 17:22:23 712 1

原创 MySQl高可用集群搭建（MGR + ProxySQL + Keepalived）

服务器规划（CentOS7.x）将安装包 mysql_cluster_ha_pack.zip 上传至集群所有服务器，并解压（需要包请私我）。上传位置 /root/

2023-02-22 17:19:38 2177 1

原创 hbase2.x HBCK Report Region Holes & Overlaps问题修复

在 Usage 说明中能看到 fixMeta 能够修复 ‘holes’，‘overlaps’ 等 region 问题，也就是确保表里的所有 region 都是 OPEN 状态再进行此操作，确保不会对集群造成额外的影响。解决方法和上面的 holes 一样，需要注意的是也要保证所有的 region 状态正常处于OPEN。等待一段时间，这个过程可以监控 master 日志，如果一切顺利问题就解决啦。最下面红框内展示了哪两个 region 存在重叠问题。【解决 region 目录为空问题】

2023-01-07 13:30:15 1213

原创 hbase2.x orphan regions on filesystem（region丢失）问题修复

hbase2.x orphan regions on filesystem在region上线后很容易产生region重叠（region overlap）问题，也就是region范围发生了交叉。使用assigns操作将检查出来未上线的region上线，一次可以上线多个region，用空格隔开，如果返回不是[-1]，说明上线成功。第一种方法如果失败，可以尝试这个方法，他会将指定region目录下的所有数据导入到指定的表中。1、使用hbck2修复工具指定region上线。

2023-01-06 17:55:04 1550 5

原创 gpcc启动后部分agent启动失败

Greenplum command centerAgent is stopped on seg1[CRITICAL] ControlCommand:agent cannot start due to no RPC connection failure rpc error:code = Unavaliable desc = connection error:desc = "transport: Error while dialing dial tcp:lookup gp1 on 223.5.5.5:53

2022-11-30 10:12:35 286

原创 Greenplum数据库故障排查及修复

gp服务正常，存在部分segment实例丢失gp启动失败，segment实例可用数已不足一半gprecoverseg gprecoverseg -F gprecoverseg -已知可能造成segment丢失的原因：频繁的内存溢出。可能存在的问题：数据目录存在目录或文件权限不足、损坏文件等。gpstart -v 查看启动日志明细

2022-11-25 16:49:09 2870

原创 greenplum master节点日志报错 ERROR: tuple to be updated was already moved to another segment due to concur

ERROR: tuple to be updated was already moved to another segment due to concurrent update

2022-08-25 19:40:52 868

原创 KafkaConsumer 架构设计剖析和源码全流程详解（一）

Kafka 作为一个分布式事件暂存和中转系统，最重要的两个功能便是，往 Kafka 生产数据的生产者 KafkaProducer，和从 Kafka 拉取数据消费的消费者 KafkaConsumer。今天我们主要讲解消费者，KafkaConsumer。

2022-07-17 17:30:36 1165

原创 Greenplum非并行数据迁移--pg_dump

1、pg_dump为greenplum数据库自带工具，可直接使用2、这里使用gp1作为源greenplum数据库标识，gp2作为目标数据库标识3、pg_dump为greenplum提供的非并行数据迁移工具，所以整个操作过程只需要在两个集群的主节点即可4、pg_dump会将迁移的数据从segment节点拉到master主节点，所以需要注意一次迁移的数据量，防止主节点磁盘爆满1、gp1执行转储命令2、将 /data/pg_dump/byt.sql 迁移到gp2的主节点相同位置3、确保 gp2 中的目标数

2022-07-12 18:25:33 728

原创 flink任务使用ParameterTool加载配置报错：No data for required key ‘redis.port‘

主要原因还是因为加载不到配置项，并且加载配置使用了flink提供的api ParameterTool工具类，更奇怪的是在idea开发测试运行成功，拿到服务器运行就报错。

2022-07-07 13:14:32 1138

原创记一次服务器异常掉电，导致HBase Master is initializing 问题处理

服务器掉电后重启服务器，并重启Hadoop、Zookeeper、HBase服务后，进程均一切正常，但是在HBase Web界面查看不到一张表，包括元数据表。使用 shell 命令扫描数据表提示表不存在错误。看下Master的日志，发现一条WARN日志：hbase:namespace,,1602737534746.41cb240b37c7ba2e67a1bff035799b61. is NOT online; state={41cb240b37c7ba2e67a1bff035799b61 state=OPE

2022-06-22 16:13:28 1491

原创时间轮在Netty、Kafka中的应用

时间轮是一个高性能、低消耗的数据结构，它适合用非准实时，延迟的短平快任务，例如心跳检测。在Netty、Kafka、Zookeeper中都有使用。时间轮可通过时间与任务存储分离的形式，轻松实现百亿级海量任务调度。Netty动辄管理100w+的连接，每一个连接都会有很多超时任务。比如发送超时、心跳检测间隔等，如果每一个定时任务都启动一个Timer，不仅低效，而且会消耗大量的资源。其他一些属性：概括时间轮工作流程（阅读Netty3.10.6）源码代码做了删减,只体现重点时间轮构造器：初始化了时间轮大小、每

2022-06-06 16:23:39 791 1

原创 java位运算与算数运算替换规则

java 位运算总结：一个数 number % 8 等价于 number & 7一个数 number / 8 等价于 number >>> 3number % n 等价于 number & (n-1)number / 2^n 等价于 number >>> n

2022-06-02 10:42:25 210

原创 Flink Window窗口开始结束时间分析-源码探索

首先 flink 的窗口分配是发生在 StreamTask 初始化的过程中。核心方法是 TumblingProcessingTimeWindows.assignWindows(…)// TODO : 在初始化StreamTask的时候需要分配好窗口 @Override public Collection<TimeWindow> assignWindows( Object element, long timestamp, WindowAssignerCo

2022-05-11 11:05:24 1243

原创关于kafka的配置acks和min.insync.replicas详解，通俗易懂一看就会

acks描述：producer 发送数据服务端的响应级别acks = all/-1 : 表示kafka isr列表中所有的副本同步数据成功，才返回消息给客户端acks = 0 ：表示客户端只管发送数据，不管服务端接收数据的任何情况acks = 1 ：表示客户端发送数据后，需要在服务端 leader 副本写入数据成功后，返回响应min.insync.replicas描述：Kafka ISR 列表中最小同步副本数默认 min.insync.replicas = 1当 acks = all

2022-03-28 11:16:19 14236 3

原创 Kafka 云服务器分别配置内外网访问

项目场景：在 docker 部署或云服务器上部署，需要内外网分流的时候。在Windows上连接阿里云服务器上部署的Kafka服务报错问题描述：Idea中创建Consumer报错：java.lang.IllegalStateException: No entry found for connection 2147483609解决方案：方案一：在客户端机器上修改hosts文件，配置上kafka所在服务器的hosts文件内的映射关系。这显然不是明智之举，不安全且麻烦。方案二：在公司内网部

2022-01-11 10:42:44 3891

原创 ZooKeeper架构&CAP理论

Zookeeper架构ZooKeeper是一种高性能，可扩展的服务，虽然读取速度比写入快，但是读取和写入操作都设计的极为快速，这样做的原因是在读取的情况下，ZooKeeper可能会提供较旧的数据为分布式应用提供高效、高可用的分布式协调服务，提供了诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知和分布式锁等分布式基础服务Zab协议是Zookeeper保证数据一致性的核心算法，Zab借鉴了Paxos算法，但又不像Paxos那样，是一种通用的分布式一致性算法，基于该协议，zk实现了一种主备模型（即L

2021-12-08 10:15:33 556 2

转载 Superset免登录访问分享的仪表（设置SUPERSET可以匿名访问图表）

目标：匿名（不需要登录）即可访问superset图表（我的环境是在docker中）一，superset角色介绍角色权限介绍Admin：拥有所有权限。Alpha：能访问所有数据源，增加或者更改数据源，但不能给更改其他用户权限。Gamma：必须结合其他能访问数据源的角色才能访问数据。这个角色所能访问的切片和看板，也是基于能访问数据源所创建的切片和看板。sql_lab：能访问SQL Lab菜单。Public：默认没有任何权限。二、具体实现1.最终目标：使grama和public权限一致（默.

2021-10-15 11:34:15 4477

原创从零开始搭建CDH6.2操作手册（离线版）

一、预备阶段1、集群机器2、安装包jdk:oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpmmysql:mysql-5.7.28.zipmysql-connector-java-5.1.47.tar.gzcloudera-repos-6.2.0:cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpmc

2021-08-20 11:32:15 1465

原创 Linux系统如何扩展磁盘，挂载、加入逻辑卷都能实现

前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、linux扩充磁盘？Centos挂载硬盘完整图文教程（查看、分区、格式化、挂载）磁盘。查看添加的磁盘给添加的磁盘分区主分区扩展分区逻辑分区初始化分区需要注意：初始化分区只能针对主分区和逻辑分区挂载二、使用步骤1.引入库代码如下（示例）：import numpy

2021-05-28 18:06:38 2726 3

原创 Linux离线安装NTP服务，无外网环境下配置本地时间同步

1、常用命令rpm -qa | grep ntp #查询已安装的ntp版本信息等rpm -e --nodeps ntp-4.2.6p5-29.el7.centos.2.x86_64 #卸载systemctl status ntpd #查询ntp服务状态systemctl start ntpd #启动systemctl stop ntpd #停止systemctl restart ntpd #重启ntpq -p #查看ntp服务器与上层ntp的状态

2021-05-20 15:16:55 8168 8

原创修改端口（CDH）cloudera manager默认端口7180

生产环境规则多！要求端口只能使用10000以上，所以7180需要修改，还只能通过元数据库修改，这里我使用的元数据库是MySql。修改方法一：后台数据库修改（WEB无法登陆时使用该方法）1、登录mysql数据库mysql -uroot -pxxxx2、切换数据库(CM的元数据库)mysql> use cmf;3、查看默认端口mysql> select * from CONFIGS where ATTR='http_port';+-----------+---------+---

2021-03-17 15:00:05 2030

原创 hive java API查表查数据库查表结构查分区

idea中创建的maven项目，首先添加一些基础依赖。 <properties> <hadoop.version>2.7.7</hadoop.version> <hive-metastore>1.2.1</hive-metastore> </properties> <dependencies> <dependency> &l

2020-11-10 16:42:31 1629

原创 Hive执行SQL报错：NoViableAltException(288@[215:51: ( KW_AS )?])

Hive执行SQL报错：NoViableAltException(288@[215:51: ( KW_AS )?]) at org.antlr.runtime.DFA.noViableAlt(DFA.java:158) at org.antlr.runtime.DFA.predict(DFA.java:116) at org.apache.hadoop.hive.ql.parse.HiveParser_FromClauseParser.subQuerySource(HiveParser_FromCl

2020-10-13 11:01:11 1080

原创 ElasticSearch 使用Java High Level REST Client API实现搜索功能-笔记

我使用ElasticSearch-7.5.2基于springboot开发。7.x算是比较新的版本，网上关于es的api更多是transport API的说明。所以在这里记录一下，仅供参考。Java REST客户端有两种版本：Java Low Level REST Client：Elasticsearch的官方低级客户端。它允许通过http与Elasticsearch集群进行通信。将请求编组和对用户取消编组的响应离开。它与所有Elasticsearch版本兼容。Java High Level REST

2020-09-22 17:00:46 791

原创 Hive表comment中文乱码???

hive注释中文乱码问题：针对元数据库metastore中的表，分区，视图的编码设置。1、进入数据库metastore中修改mysql编码设置。2、修改metastore的连接URL。1、修改表字段注解和表注解进入mysql 选择hive库执行：alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8 ;alter table TABLE_PARAMS modify column PARAM_VAL

2020-09-21 16:33:48 610

原创 Linux安装postgresql-配置远程连接-开机自启动

安装：1. 下载软件包pgsql有很多类型的包，对于不同linux发行版都有对应的编译好的包，安装很方便，另外如果对于通用的linux平台可以编译源码安装或者安装官方编译好的二进制包，源码包的安装仅仅比二进制安装多出一个编译步骤，其余的都一样，所以这里使用安装方式是安装编译好的二进制包官网下载链接：https://www.enterprisedb.com/download-postgresql-binaries根据机器的位数下载对应的包。2. 安装并初始化解压数据库并放到指定目录：tar -x

2020-08-18 21:35:50 595

原创 Spring整合MyBatis笔记

spring整合MyBatis思路： 1、创建接口实体类接口对应的xml配置（这些是MyBatis的东西） 2、在spring的配置里配置dataSource（DriverManagerDataSource） 3、接着配置SqlSessionFactory，并配置MyBatis中的各种属性：configLocation、mapperLocations、typeAliases等 4、接着配置SqlSession(SqlSessionTemplate)，并构造器方式注入接着配

2020-08-03 10:21:27 193

原创 Type interface com.dragon.mydemo.mapper.StudentMapper is not known to the MapperRegistry.

报错日志：Exception in thread "main" org.apache.ibatis.binding.BindingException: Type interface com.dragon.mydemo.mapper.StudentMapper is not known to the MapperRegistry. at org.apache.ibatis.binding.MapperRegistry.getMapper(MapperRegistry.java:47) at org.ap

2020-07-22 18:17:52 366

原创 The error may exist in mapping/StudentMapper.xml

错误日志：Exception in thread "main" org.apache.ibatis.exceptions.PersistenceException: ### Error building SqlSession.### The error may exist in mapping/StudentMapper.xml### The error occurred while processing mapper_resultMap[personMap]_association[card]#

2020-07-22 18:10:38 3574

原创 presto可视化工具yanagishima编译不过的看过来！

sorry。。我不是给你解决编译问题的！因为我搞了大概三天搜遍各个网站，各种问题层出不穷，最终我搞不下去了，绝望！这里给出现成的包，不过是18的，CSDN上到处是收费的！

2020-07-15 17:06:18 1217 1

原创 Description:[您配置的值不合法.]. - 请确认您所读取的列配置正确！columnIndexMax 小于0,column:[]

DataX实现从hive到Oracle抽取数据报错：2020-07-08 16:43:48.011 [0-0-0-reader] ERROR ReaderRunner - Reader runner Received Exceptions:com.alibaba.datax.common.exception.DataXException: Code:[HdfsReader-00], Description:[您配置的值不合法.]. - 请确认您所读取的列配置正确！columnIndexMax 小于0,

2020-07-08 18:10:12 2319

原创 org.apache.thrift.protocol.TProtocolException: Missing version in readMessageBegin, old client?

使用beeline连接到hiveserver2报错报错内容为：2020-07-02 14:39:18,655 ERROR org.apache.thrift.server.TThreadPoolServer: [HiveServer2-Handler-Pool: Thread-64]: Thrift error occurred during processing of message.org.apache.thrift.protocol.TProtocolException: Missing ver

2020-07-02 15:14:05 3972

原创 datax-web安装部署

datax-web-2.1.2安装部署环境准备1）基础软件安装MySQL (5.5+) 必选，对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库JDK (1.8.0_xxx) 必选DataX 必选Python (2.x) (支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-web/datax-python3下) 必选，主要用于调度执行底层DataX的启动脚本，默认的方式是以Java子进程方式执行

2020-07-02 09:41:46 4164 2

原创 spark.SparkContext: Error initializing SparkContext.

spark.SparkContext: Error initializing SparkContext.报错：(base) [bigdata@worker01 ~]$ spark2-shell Setting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).20/06/30 15:40:49 ERROR sp

2020-06-30 15:52:49 1824

空空如也

空空如也