- 博客(24)
- 收藏
- 关注
RSS订阅原创 hdfs数据迁移经验
过多的chunk可能导致线程调度开销增加，而过少则可能无法充分利用多核CPU的并行处理能力。对于小文件，并发读取可能不会带来性能提升，反而可能因额外的线程调度开销而降低效率。3、结合数据块大小（dfs.blocksize）确定分片数，尽量单个线程内避免跨越块边界，可能会影响性能。// 例如访问HDFS或其他Hadoop服务。// 例如访问HDFS或其他Hadoop服务。// 进行后续的Hadoop操作。// 进行后续的Hadoop操作。// 指定HDFS上的文件路径。// 指定HDFS上的文件路径。
2024-08-14 12:12:49
354
原创 hdfs冷热数据统计
hdfs dfsadmin -fetchImage ./ hdfs oiv -i ./fsimage_* -t ./temp/dir -o ./fs.csv -p Delimited -delimiter “,”
2024-08-08 11:08:36
241
原创 与普通功能测试相比，准生产的演练测试 有哪些特有的步骤
在准生产演练测试中，会特别强调测试环境与生产环境的高度一致性，包括硬件、操作系统、中间件、数据库版本、网络配置等，以确保测试结果的准确性和可预测性。不仅关注功能的正确性，还会进行性能测试和负载测试，模拟高并发和大流量场景，评估系统的响应时间和资源消耗，确保系统在生产环境下能够稳定运行。通过这些特有的步骤，准生产演练测试能够更全面地评估系统的稳定性和生产就绪状态，为系统的顺利上线和长期运行提供保障。使用实际生产数据的副本或模拟生产数据进行测试，确保数据的完整性和真实性，以便更准确地模拟生产环境中的业务场景。
2024-07-23 14:19:07
328
原创 crontab 的坑
所以同一个命令 手动执行和crontab执行 JAVA_HOME环境变量可能会不一样，走的jre不一样，可能会有隐藏的bug。守护进程在执行计划任务时，使用的是一个非常基础的Shell环境，它并不加载用户级别的。或类似的Shell初始化文件。这意味着在这些文件中设置的环境变量、函数或别名在。此外，每个用户都有自己的。文件，可以在其中定义环境变量。守护进程会加载系统级的。
2024-07-18 20:59:36
204
原创 查看实际使用的jdk jre 反查进程
fuser -v /usr/local/java/bin/javafuser -v /usr/bin/java
2024-07-18 20:55:36
76
转载 pip3 install celery-with-redis==3.0
原因是setuptools 58之后的版本已废弃use_2to3。解决办法是，安装低版本的setuptools。
2024-07-17 15:46:03
15
原创 hive 锁相关的配置
hive.support.concurrencyhive.lock.mapred.only.operationhive.query.exclusive.lockhive.lock.numretrieshive.lock.sleep.between.retries
2024-07-11 16:39:02
113
原创 关于hadoop-common 中的_HOST替换 涉及反向解析DNS
有一个配置项 hadoop.security.resolver.impl 默认应该是 org.apache.hadoop.net.DNSDomainNameResolver。重点关注 domainNameResolver.getHostnameByIP。反向解析dns的逻辑 根据ip获取域名。
2024-07-08 11:13:32
327
原创 大象医生 linkedin dr-elephant java.lang.NoClassDefFoundError: Could not initialize class org.apache.hado
dr-elephant-2.1.7/lib 目录下的jackson-databind不可以删除，不然play框架启不来，只能想办法修改 echo `hadoop classpath` 的。类似 /usr/current/hadoop-hdfs-client/lib/*目录下有 jackson-databind的jar jar包冲突。dr-elephant-2.1.7/app-conf/FetcherConf.xml 核心配置文件。一种不通可以试试另外一种。spark有两种配置。
2024-06-20 17:14:33
333
原创 gaussdb 8.1.3 200 flinkcdc（debezium）
gaussdb cdc基于逻辑复制原理，逻辑复制基于逻辑解码插件，逻辑解码插件有decoderbufs和pgoutput两种
2024-05-28 14:54:43
338
原创 trino的资源组，资源隔离有什么问题
然而，Trino的资源隔离存在一些局限性，例如它在查询提交时进行资源判断，但查询执行过程中不会进行集群资源限定的判断。4. **资源请求**：在Spark作业提交时，可以通过配置参数（如`--executor-memory`和`--executor-cores`）来请求特定数量的资源，YARN会根据这些请求和集群资源状况来分配资源。6. **资源隔离的弱点**：资源组提供的是一种弱资源限制和隔离功能，它在提交查询时进行资源判断，但SQL执行起来后，不会进行集群资源限定的判断，这可能导致资源隔离不严格。
2024-05-16 18:36:38
360
原创 kafka connect-distributed.properties kerberos配置问题java.io.EOFException at org.apache.kafka.com
但是mysql有数据变更后binlog文件有变动，debezium会起一个producer往kafka里吐数据一直失败。sasl.jaas.config=XXX 等配置后connect可以正常启动。能确定是kafka 开启kerberos导致的，但是尝试这种配置后未果。后Google到开头stackoverflow的文章后，按照修改解决。copy之前的配置 加上 producer. 再配置一遍。kafka版本2.7.2。日志如下：没有有效内容。
2024-04-24 11:27:38
562
3
原创 Connection marked as failed because the onConnect callback failed: This Beat requires the default di
【代码】Connection marked as failed because the onConnect callback failed: This Beat requires the default di。
2024-04-10 23:13:55
496
1
原创 curl kafka-connect 加载不到debezium-mysql的类
plugin.path配置无误，可以扫描并加载部分jar包的类。进程是jdk8启动的，反射加载类是报错了版本不兼容。日志级别改成debug可以看到。原因jar是jdk11编译的。某个jar包的类加载不到。
2024-04-10 23:03:48
96
2
原创 健康检查告警发送失败
盲猜python里中文导致的，改成英文a="system error"后恢复正常了。查看ambari-server.log 可以看到只改了一句 调用异常了。调用脚本没有成功，盲猜因为权限问题导致的，chown后可以调用成功。ambari 调用python脚本 231106后没有告警了。a=b+c,现在需要把a写死成中文 a="系统异常"ls发现 231106后脚本的权限改成了root。
2024-02-27 15:20:50
330
原创 ng openserty apisix 不断产生Core文件导致磁盘满问题
插曲:磁盘满了 kill 进程后，删除140G的日志文件仍然占用空间，（无lsof命令无法确定哪个进程占着文件）；根目录满了无法用yum安装lsof，后来删除了其他目录下的部分文件，成功安装了lsof命令，发现是kill的进程的子进程 还占用着已经删除140G的日志文件。排查结果：启动脚本根据lsof端口号查找旧进程的进程号 机器环境无lsof命令，停旧进程失败 导致。ps看 有2个同样的进程，盲猜端口占用，后启动的进程不断重启导致core文件产生。
2024-02-27 14:53:07
373
原创 max.connections=100
2024-01-25 14:25:33.194 ERROR [http-nio-8888-exec-59] [-] o.a.c.c.C.[.[.[.[dispatcherServlet][175] - Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is javax.persistence
2024-01-25 14:45:13
340
转载 MySQL、MariaDB、TiDB时间小数秒四舍五入与截断
版权声明：本文为CSDN博主「adrninistrat0r」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。本文链接：https://blog.csdn.net/a82514921/article/details/134887206。原文链接：https://blog.csdn.net/a82514921/article/details/134887206。版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
2024-01-16 11:19:45
48
1
原创 使用jsch时遇到 Failed publickey for ＜myusername＞ from＜myip＞ port 23837 ssh2: RSA
报错的机器authorized_key没有添加本机的公钥，添加后再测试成功了。正常的机器从~/.ssh/authorized_key 第7行匹配到了密钥，查看正常机器authorized_key 第7行内容，居然是本机的公钥。查看sshd日志，有差异但是没分析出来。把日志debug打开，发现了关键差异。对比 ssh sshd配置，一致。报错的机器从这日志开始报错了。一台机器正常，一台报错。对比目录文件权限，一致。
2023-06-01 20:07:32
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人