- 博客(43)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 【Ubuntu datasophon1.2.1 二开之四：解决YARN安装问题】
本文记录了在Ubuntu系统上使用Datasophon 1.2.1进行二次开发时遇到的YARN安装问题及解决方案。主要问题包括：Alertmanager报错（因变量丢失导致配置文件异常）、ZK安装不完整（部分节点未下载安装包）、YARN启动失败（需手动创建NodeManager节点并启动）以及HDFS报警问题（脚本检查进程存在缺陷）。这些问题暴露出Datasophon系统的不稳定性，其根源在于依赖的Akka组件缺乏网络抖动时的重试机制。作者通过修改配置文件、完善启动脚本等方式逐一解决了这些问题，为类似情况提
2026-01-30 22:41:37
624
原创 mysql数据快速导入doris
本文介绍了将MySQL数据高效导入Doris数据库的解决方案。针对直接使用INSERT语句导入200多万条数据耗时过长的问题，作者提出了将SQL转换为CSV格式的方案。通过Java开发的工具InsertSqlToCSV，能够自动解析INSERT语句，提取字段名和值，并生成规范的CSV文件。该工具具有以下特点：1)自动处理字段名和值的解析；2)验证列数一致性；3)统计处理结果；4)生成符合Doris要求的CSV格式。相比直接使用INSERT语句，这种CSV导入方式能显著提高大数据量导入效率。工具还提供了错误处
2026-01-12 17:25:06
97
原创 【Ubuntu datasophon1.2.1 二开之三：解决HDFS安装后，启动失败：sudo: unknown user hdfs】
在Ubuntu系统上安装Datasophon 1.2.1的HDFS组件时遇到启动失败问题，错误提示"sudo: unknown user hdfs"。日志显示在2025-12-14 09:42:12左右出现大量ShellUtils错误，涉及JournalNode服务启动失败。该问题表明系统缺少HDFS服务所需的hdfs用户，导致权限相关操作失败。安装过程中还显示了一些Hadoop 3.3.3的文档文件路径，包括SLS和Hadoop Archives模块的相关资源文件。
2025-12-20 11:58:02
1002
原创 Ubuntu datasophon1.2.1 二开之二：解决三大监控组件安装后，启动失败：报缺失common.sh
摘要：在Ubuntu上部署Datasophon 1.2.1时，安装AlertManager、Prometheus和Grafana监控组件后出现启动失败，报错提示缺失common.sh文件。经排查发现tar解压命令缺少关键参数--strip-components=1，该参数用于去除压缩包的第一层目录结构。解决方案是修改InstallServiceHandler.java中的decompressTarGz和decompressWithStripComponents方法，添加该参数确保文件正确解压到目标路径。该问
2025-12-14 11:59:38
379
原创 Ubuntu datasophon1.2.1 二开之一：创建datasophon-worker 服务失败
文章摘要： 在Ubuntu系统上部署Datasophon 1.2.1大数据平台时，用户遇到了创建datasophon-worker服务失败的问题。该问题与Linux系统版本差异导致的服务描述文件兼容性有关。解决方案是通过修改StartWorkerHandler.java文件，调整服务启动配置。修改内容包括更新common.properties配置文件、停止原有服务、设置系统参数，并重新生成服务描述文件。该方法已在麒麟系统上验证有效，通过AI辅助转换后成功应用于Ubuntu系统。该问题解决后，用户可继续完成H
2025-12-09 13:59:03
497
原创 解决DataEase 共享页面背景图不显示问题
摘要：本文解决了DataEase共享页面背景图在嵌入办公软件后不显示的问题。问题原因是背景图使用相对路径，导致嵌入系统时路径解析错误。解决方案是增加系统参数配置外网绝对路径前缀，修改数据库和前端代码（包括sysParameter.ts、ComponentWrapper.vue等文件），通过拼接绝对路径确保图片正常显示。最终实现效果：在系统设置中配置外网地址后，背景图成功显示。整个修改过程涉及数据库操作、API接口调整和前端页面优化。
2025-11-11 10:48:10
419
原创 datasophon1.2.1 二开
本文介绍了在麒麟V10系统上安装Datasophon 1.2.1时遇到的问题及优化方案。作者遇到麒麟系统权限限制和AKKA通讯不稳定的问题，特别是Agent分发时75%卡顿现象。通过分析源码发现问题出在AKKA通讯组件上，于是自主开发了兼容AKKA调用的简化版通讯框架Stable-Actor。优化后测试显示能稳定达到100%进度，但需要每次先删除集群并重启服务。作者表示这只是初步改进，后续可能还会遇到其他问题。相关代码已开源在Gitee平台。
2025-10-25 22:32:53
392
原创 apipost 8.x 压测
本文介绍了使用Apipost 8.x进行压力测试的过程。作者为排查某OA系统偶发问题，通过配置测试用例的并发数和时长（以分钟为单位），并导入CSV测试数据（使用{{列名}}格式引用）。测试结果显示27次请求中5次失败，TPS为0.59次/秒，包含性能趋势图但脚本详情未展示。虽然未重现OA问题，但掌握了Apipost压测技能。如需交流可联系lita2lz。
2025-09-04 09:54:53
584
原创 apipost 8.x 脚本循环调用接口
APIPOST脚本调用接口时遭遇兼容性问题，最终发现其兼容Postman脚本。文章详细记录了使用APIPOST 8.x进行OA系统压测的过程：通过脚本循环调用接口（包括登录、查询、保存、提交等操作），主函数使用while循环控制流程流转，直到查询不到处理人员为止。代码展示了完整的异步请求处理逻辑，包括错误处理、环境变量获取和JSON解析。值得注意的是，调试过程中发现APIPOST客服提供的竟然是Postman脚本，侧面反映其自身脚本功能可能还不够成熟。
2025-09-01 14:02:34
885
原创 DataEase 2.10.x 编译打包都遇到的Error: Missing “./bin/jsencrypt.min“ specifier in “jsencrypt“ package解决方式
DataEase 2.10.x版本编译时出现"Missing './bin/jsencrypt.min' specifier"错误的解决方法。该问题主要出现在2.10.9-2.10.11版本，由jsencrypt包更新引起。尝试多种修复方式无效后，最终解决方案是修改core-frontend中encryption.ts文件的引用方式：将原import JSEncrypt from 'jsencrypt/bin/jsencrypt.min'替换为import JSEncrypt from
2025-08-22 10:51:45
1407
4
原创 DataEase 接入阿里千问通义大模型
摘要：DataEase通过接入阿里千问通义大模型，增强了AI分析图表功能。改造分为前端和后台：前端新增AI配置参数（模型、提示词、API URL及Key）并集成到系统设置，同时在仪表盘添加"AI生成报告"按钮；后台负责转发请求至阿里模型并返回分析结果。实现流程为前端截图发送至后台，通过阿里SDK调用通义千问模型生成报告。该功能耗时一周开发，为业务人员提供了便捷的智能图表分析工具。（149字）
2025-08-11 09:55:33
445
原创 飞牛系统安装DataEase自定义Docker包
本文介绍了在飞牛系统上部署自定义DataEase的Docker镜像的完整流程。首先在Linux系统(麒麟V10)中安装Docker，准备JDK21和DataEase2.0打包文件并编写Dockerfile；然后构建Docker镜像并验证；接着将镜像导出为tar文件并上传至飞牛系统；最后通过1Panel组件导入镜像并创建容器。文中详细说明了每个步骤的具体操作命令和注意事项，包括Docker配置修改、镜像导入路径获取等关键环节，为需要在飞牛系统上部署定制DataEase的用户提供了完整的技术指导。
2025-07-24 10:36:25
1431
1
原创 在Kerberos 环境下 Ranger2.5.0 对接hive报错:Unable to connect to Hive Thrift Server instance
本文介绍了在Kerberos环境下Ranger 2.5.0对接Hive时遇到的问题及解决方案。主要错误表现为初始化网络socket失败和TSocket构建方法不匹配，经排查发现是libthrift版本不兼容导致。通过将libthrift-0.14.0.jar替换为0.13.0版本后，Ranger管理控制台连接测试通过，但beeline测试仍出现SASL协商失败。最终定位到GSS-API层面的校验和错误，表明Kerberos认证环节存在问题，需要进一步检查密钥配置或网络通信。该案例展示了大数据组件集成过程中版
2025-07-21 15:38:19
743
原创 Kerberos 认证配置&大数据组件配置kerberos
本文介绍了Kerberos认证的配置过程及大数据组件集成Kerberos的方法。主要内容包括：1）创建hdfs和HTTP的principals并生成hdfs.keytab文件；2）创建zookeeper.keytab文件用于ZK认证；3）ZK配置Kerberos的具体步骤，包括修改zoo.cfg、jaas.conf和java.env配置文件；4）配置同步和重启服务的操作流程；5）常见错误处理方法。文章提供了详细的命令示例和配置片段，特别强调了ZK认证中必须使用zookeeper主机名的注意事项。适用于已安装
2025-07-16 15:14:02
1236
原创 Kerberos5 安装
本文介绍了在三节点Hadoop集群上安装配置Kerberos5认证系统的完整流程。主要内容包括：1）服务器角色规划；2）主节点(hadoop01)安装krb5-server和workstation组件，从节点安装workstation组件；3) 配置krb5.conf、kdc.conf等核心文件；4) 创建Kerberos数据库和管理员账号；5) 服务启动与管理；6) 通过kadmin工具进行用户管理验证。文中特别强调了主机名解析对Kerberos认证的重要性，并提供了常见问题的解决方案。该配置为Hadoo
2025-07-12 16:03:41
436
原创 dataease 2.10.2升级到dataease2.10.11
本文记录了DataEase从2.10.2升级到2.10.11的过程。由于官方修复了多个漏洞，需对程序、配置和数据库三方面进行升级。编译环节参考了之前2.9版本的编译方法，修改版本号并补充相关配置；部署同样沿用2.9版本的方案。数据库升级通过PowerDesigner对比两个版本的SQL文件，发现新版本增加了core_custom_geo_area等5张新表，但原有表结构未改动。文中详细列出了新增表的SQL创建语句，为完整升级提供了关键参考。整个升级过程主要涉及新增表结构的部署，避免了数据迁移的复杂性。
2025-07-07 16:14:56
588
原创 ZooKeeper 3.9.2 集群安装指南
《ZooKeeper 3.9.2集群安装指南》摘要：本文详细介绍了ZooKeeper 3.9.2集群部署流程。准备工作包括3台及以上服务器、Java 8+环境及网络互通。安装步骤涵盖软件下载解压、创建数据目录、配置zoo.cfg文件（需设置服务器列表及端口）、创建myid文件等核心操作。启动集群后需验证状态及数据同步，并提供日志配置、JVM调优、防火墙设置等可选优化方案。文中还列举了选举失败、数据不同步等常见问题的解决方法。通过本指南可快速搭建可用的ZooKeeper集群环境。
2025-06-21 17:49:04
600
原创 安装ranger2.4.1
本文详细介绍了Ranger 2.4.1的安装部署过程，包括环境准备（Hadoop 3.3.6、Hive 3.1.3、JDK1.8、MySQL8）、Ranger Admin安装（数据库创建、解包配置、启动）、Ranger Usersync安装（用户同步配置）以及Ranger Hive-plugin的简要说明。重点展示了Ranger Admin和Usersync的配置细节和启动验证步骤，为Hadoop生态系统的权限管理提供了完整解决方案。通过具体命令和参数配置，指导用户完成整个安装流程并验证服务正常运行。
2025-06-18 10:26:22
722
原创 解决DataEase 导出双轴仪表盘xls报空指针错误
刚接手这个问题时，我猜想是不是DataEase 双轴复杂计算出现了什么纰漏。跟踪后发现，我想多了，呵呵。本代码版本为：2.10.2如需沟通：lita2lz。
2025-06-09 09:21:22
332
原创 Get请求接口如何带请求头
在内部管理系统中，使用Flowable工作流时，需要在流程中增加文件上传、预览和下载功能。为了安全起见，GET接口需要传递token，但页面在文件预览和下载时不便直接传递token。解决方案是通过父页面使用iframe打开预览或下载页面，父页面在打开子页面前，先将token存入缓存，子页面根据tokenKey获取token，调用fetch模式请求GET接口并带上token，最终渲染或下载文件。技术栈为Vue2、Element-UI和HTML。
2025-05-22 10:31:28
899
原创 如何解决dataease社区版iframe 无法嵌入问题
这个问题解决了，但是对于数据安全性高的情况下，可能需要对分享链接有时间限制，比如过半个小时后，链接失效。我验证一下，对于分享链接，即使分享时已经配置失效时间。但是时间到了，依然有效。又是个坑，下次有机会解决。建议预算允许情况下，还是购买企业版吧。省得一个个趟坑。需要交流：lita2lz。
2025-03-27 10:39:03
1649
原创 hadoop exporter配置Prometheus & Grafana
实践 hadoop exporter prometheus grafana配置
2024-10-17 11:14:04
2198
原创 AutoScript 代码生成Saas工具
为了满足用户自定义代码模版需求，特意编写该手册，方便用户使用AutoScript 工具来快速配置模版。该工具基于FreeMarker 技术，如果首次接触，可以先了解附录的FreeMarker语法，以便迅速地编写模版。某些功能FreeMarker不能很好支持，需要平台自定义一些函数来补充完善代码生成需要。模版工程，工程参数，模版关系如下图：一个模版工程只需定义一组工程参数，可以若干个模版，一个模版通常对应一组文件。
2023-08-26 17:24:53
379
大数据 hadoop grafana 监控图配置json
2024-10-17
hadoop集群监控数据收集器 辛苦编译，多谢大家捧场
2024-10-11
博主安装k8s 遇到问题如下
2023-07-16
巨杉数据库：执行db.updateConf({"mvccon":true})报错
2021-05-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人