自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(24)
  • 收藏
  • 关注

原创 hdfs数据迁移经验

过多的chunk可能导致线程调度开销增加,而过少则可能无法充分利用多核CPU的并行处理能力。对于小文件,并发读取可能不会带来性能提升,反而可能因额外的线程调度开销而降低效率。3、结合数据块大小(dfs.blocksize)确定分片数,尽量单个线程内避免跨越块边界,可能会影响性能。// 例如访问HDFS或其他Hadoop服务。// 例如访问HDFS或其他Hadoop服务。// 进行后续的Hadoop操作。// 进行后续的Hadoop操作。// 指定HDFS上的文件路径。// 指定HDFS上的文件路径。

2024-08-14 12:12:49 348

原创 hdfs冷热数据统计

hdfs dfsadmin -fetchImage ./ hdfs oiv -i ./fsimage_* -t ./temp/dir -o ./fs.csv -p Delimited -delimiter “,”

2024-08-08 11:08:36 127

原创 与普通功能测试相比,准生产的演练测试 有哪些特有的步骤

在准生产演练测试中,会特别强调测试环境与生产环境的高度一致性,包括硬件、操作系统、中间件、数据库版本、网络配置等,以确保测试结果的准确性和可预测性。不仅关注功能的正确性,还会进行性能测试和负载测试,模拟高并发和大流量场景,评估系统的响应时间和资源消耗,确保系统在生产环境下能够稳定运行。通过这些特有的步骤,准生产演练测试能够更全面地评估系统的稳定性和生产就绪状态,为系统的顺利上线和长期运行提供保障。使用实际生产数据的副本或模拟生产数据进行测试,确保数据的完整性和真实性,以便更准确地模拟生产环境中的业务场景。

2024-07-23 14:19:07 320

原创 crontab 的坑

所以同一个命令 手动执行和crontab执行 JAVA_HOME环境变量可能会不一样,走的jre不一样,可能会有隐藏的bug。守护进程在执行计划任务时,使用的是一个非常基础的Shell环境,它并不加载用户级别的。或类似的Shell初始化文件。这意味着在这些文件中设置的环境变量、函数或别名在。此外,每个用户都有自己的。文件,可以在其中定义环境变量。守护进程会加载系统级的。

2024-07-18 20:59:36 201

原创 查看实际使用的jdk jre 反查进程

fuser -v /usr/local/java/bin/javafuser -v /usr/bin/java

2024-07-18 20:55:36 72

转载 pip3 install celery-with-redis==3.0

原因是setuptools 58之后的版本已废弃use_2to3。解决办法是,安装低版本的setuptools。

2024-07-17 15:46:03 12

原创 hive 锁相关的配置

hive.support.concurrencyhive.lock.mapred.only.operationhive.query.exclusive.lockhive.lock.numretrieshive.lock.sleep.between.retries

2024-07-11 16:39:02 111

原创 关于hadoop-common 中的_HOST替换 涉及反向解析DNS

有一个配置项 hadoop.security.resolver.impl 默认应该是 org.apache.hadoop.net.DNSDomainNameResolver。重点关注 domainNameResolver.getHostnameByIP。反向解析dns的逻辑 根据ip获取域名。

2024-07-08 11:13:32 325

原创 大象医生 linkedin dr-elephant java.lang.NoClassDefFoundError: Could not initialize class org.apache.hado

dr-elephant-2.1.7/lib 目录下的jackson-databind不可以删除,不然play框架启不来,只能想办法修改 echo `hadoop classpath` 的。类似 /usr/current/hadoop-hdfs-client/lib/*目录下有 jackson-databind的jar jar包冲突。dr-elephant-2.1.7/app-conf/FetcherConf.xml 核心配置文件。一种不通可以试试另外一种。spark有两种配置。

2024-06-20 17:14:33 330

原创 dr-elephant window 编译问题-后端

注意以下两种目录结构都存在 内容存2份。

2024-06-18 20:07:20 156

原创 dr-elephant window 编译问题-前端

【代码】dr-elephant window 编译问题-前端。

2024-06-18 19:16:07 192

原创 gaussdb 8.1.3 200 flinkcdc(debezium)

gaussdb cdc基于逻辑复制原理,逻辑复制基于逻辑解码插件,逻辑解码插件有decoderbufs和pgoutput两种

2024-05-28 14:54:43 335

原创 trino的资源组,资源隔离有什么问题

然而,Trino的资源隔离存在一些局限性,例如它在查询提交时进行资源判断,但查询执行过程中不会进行集群资源限定的判断。4. **资源请求**:在Spark作业提交时,可以通过配置参数(如`--executor-memory`和`--executor-cores`)来请求特定数量的资源,YARN会根据这些请求和集群资源状况来分配资源。6. **资源隔离的弱点**:资源组提供的是一种弱资源限制和隔离功能,它在提交查询时进行资源判断,但SQL执行起来后,不会进行集群资源限定的判断,这可能导致资源隔离不严格。

2024-05-16 18:36:38 352

原创 kafka connect-distributed.properties kerberos配置问题java.io.EOFException at org.apache.kafka.com

但是mysql有数据变更后binlog文件有变动,debezium会起一个producer往kafka里吐数据一直失败。sasl.jaas.config=XXX 等配置后connect可以正常启动。能确定是kafka 开启kerberos导致的,但是尝试这种配置后未果。后Google到开头stackoverflow的文章后,按照修改解决。copy之前的配置 加上 producer. 再配置一遍。kafka版本2.7.2。日志如下:没有有效内容。

2024-04-24 11:27:38 546 3

原创 Connection marked as failed because the onConnect callback failed: This Beat requires the default di

【代码】Connection marked as failed because the onConnect callback failed: This Beat requires the default di。

2024-04-10 23:13:55 495 1

原创 curl kafka-connect 加载不到debezium-mysql的类

plugin.path配置无误,可以扫描并加载部分jar包的类。进程是jdk8启动的,反射加载类是报错了版本不兼容。日志级别改成debug可以看到。原因jar是jdk11编译的。某个jar包的类加载不到。

2024-04-10 23:03:48 94 2

原创 启动kafka-connect 遇到jar包冲突

现象:IllegalArgumentException Unsupported api。

2024-04-10 22:45:17 320 1

原创 健康检查告警发送失败

盲猜python里中文导致的,改成英文a="system error"后恢复正常了。查看ambari-server.log 可以看到只改了一句 调用异常了。调用脚本没有成功,盲猜因为权限问题导致的,chown后可以调用成功。ambari 调用python脚本 231106后没有告警了。a=b+c,现在需要把a写死成中文 a="系统异常"ls发现 231106后脚本的权限改成了root。

2024-02-27 15:20:50 328

原创 ng openserty apisix 不断产生Core文件导致磁盘满问题

插曲:磁盘满了 kill 进程后,删除140G的日志文件仍然占用空间,(无lsof命令无法确定哪个进程占着文件);根目录满了无法用yum安装lsof,后来删除了其他目录下的部分文件,成功安装了lsof命令,发现是kill的进程的子进程 还占用着已经删除140G的日志文件。排查结果:启动脚本根据lsof端口号查找旧进程的进程号 机器环境无lsof命令,停旧进程失败 导致。ps看 有2个同样的进程,盲猜端口占用,后启动的进程不断重启导致core文件产生。

2024-02-27 14:53:07 371

原创 max.connections=100

2024-01-25 14:25:33.194 ERROR [http-nio-8888-exec-59] [-] o.a.c.c.C.[.[.[.[dispatcherServlet][175] - Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is javax.persistence

2024-01-25 14:45:13 338

原创 /var 磁盘满了,但是实际不满

发现rsyslogd进程 删过的文件还在占用磁盘。

2024-01-25 10:14:36 528

翻译 trino 概念

trino概念

2024-01-18 14:19:08 37 1

转载 MySQL、MariaDB、TiDB时间小数秒四舍五入与截断

版权声明:本文为CSDN博主「adrninistrat0r」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。本文链接:https://blog.csdn.net/a82514921/article/details/134887206。原文链接:https://blog.csdn.net/a82514921/article/details/134887206。版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

2024-01-16 11:19:45 45 1

原创 使用jsch时遇到 Failed publickey for <myusername> from<myip> port 23837 ssh2: RSA

报错的机器authorized_key没有添加本机的公钥,添加后再测试成功了。正常的机器从~/.ssh/authorized_key 第7行匹配到了密钥,查看正常机器authorized_key 第7行内容,居然是本机的公钥。查看sshd日志,有差异但是没分析出来。把日志debug打开,发现了关键差异。对比 ssh sshd配置,一致。报错的机器从这日志开始报错了。一台机器正常,一台报错。对比目录文件权限,一致。

2023-06-01 20:07:32 191

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除