- 博客(144)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 clickhouse创建用户，登录出错的问题，code 516
第一次安装好clickhouse 4台服务器集群，配置好nginx反向代理，设置一个管理用户admin, 开始创建用户了，如。怎么不存在呢，再次创建，也能成功，难道是用户没保存成功吗？多次创建，发现有时成功，有时又不成功。发现结果很奇怪，时有时无，id也是不停的变化。难道是集群没配好，变成单机了？网上查了，说是要用on cluster创建用户才是集群共有的。接着试试登录，发现登录出516错，说是用户不存在或是密码不对。于是在config.xml里面，开启配置，原来是注释掉了的。
2026-01-23 19:05:59
247
原创 K8S节点磁盘空间不足导致502错误的排除
业务pod基本正常，但进不去，估计是ingress的问题。业务系统出现502错误，k8s dashboard也上不去了，执行命令。再看磁盘空间有17%了，接着就生启ingress pod吧。接下来就是扩充磁盘，减少日志等工作了。发现很多evicted pod。再看业务系统正常了。
2026-01-23 09:13:26
341
原创 hive分桶表出现错误：The number of buckets for table xxx is 8, whereas the number of files is 16
经仔细检查ETL逻辑发现，这个表是增量表，每天会加载一批增量数据过来，以前用的是insert overwrite table xxx select …的方法，这张表却是insert into table xxx select …from xxy 的方法，说明新增的数据，hive并没有合并到老文件里，只是新加了一个“补丁文件”，导致文件数据增多。而且，直接select * from table xxx它又不会出错。但是，为什么直接单表select就没问题，而join其它表就有问题了？
2026-01-14 09:45:37
220
原创 dolphinscheduler3.2发不出警告短信的问题修复
我们在升级dolphinscheduler3.1.8到dolphinscheduler3.2.2后发现，原来正常的钉钉警告消息没有了。
2026-01-05 17:10:18
214
原创 datasophon升级hbase到2.5
9、安装完成后master一般会启动出错，这是因为缺少hdfs配置，要把hdfs-site.xml, core-site.xml两个文件复制到hbase/conf目录下，再重启。1、下载安装包 https://www.apache.org/dyn/closer.lua/hbase/2.5.13/hbase-2.5.13-bin.tar.gz。src/main/resources/meta/DDP-1.2.1/HBASE/service_ddl.json，把2.4.16替换成2.5.13。
2026-01-05 16:53:22
326
原创 dolphinscheduler任务卡死在已提交状态的问题解决
dolphinscheduler大量启动并发任务时，经常卡死，任务处于已提交成功状态，但就是不运行。看来是应用有bug，导致保存逻辑出错，重复记录了。于是，手动删除，只保留最新一条，任务就往下走了。查master日志，发现任务定义记录重复了。
2025-12-03 18:50:22
258
原创 dolphinscheduler3.1.x任务间参数传递偶发性失效的问题解决
原来是AbstractCommandExecutor.parseProcessOutput方法里，采用异步处理out参数，但没有等待执行完毕的语句，所以，估计是上游任务的out参数还没处理完成，下游任务就已经开始了。所以如下加上awaitTermination语句，再次测试，问题解决。我司使用dolphinscheduler3.1.x做数据中台调度，由于任务数量多，偶尔会出现上游任务的out参数无法传递到下游任务的情况。经调试，终于找到了问题所在。
2025-12-02 19:27:14
402
原创 datasophon中dolpinscheduler的自定义配置common.properties不生效问题解决
我们的dolphinscheduler每天凌晨拉起的任务非常多，很容易导致任务失败，于是查阅文档，说是worker.exec-threads可以限制同时运行的任务数。然而，我们按如下设置了，要加在最后面，以便可以覆盖application.yaml本身的设置。后经调试发现，common.properties根本没加载。然而，设置完后没用，照样卡。
2025-12-02 19:02:51
207
原创 hive数据加载出错：Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive
网上各种搜索，没解决问题，后来想到是不是那表语句有问题？于是重新建表，问题解决了。
2025-09-29 09:30:26
167
原创 dolphinscheduler3.3.1登录出资源不存在:null的错解决方法
下载源码，查看ResourcesServiceImpl，发现是在读取存储类型和地址。本地用idea启动没问题。检查各种配置都没解决，后来再查源码是在用ServiceLoader加载StorageOperatorFactory，加debug信息发现是什么类型也没加载到，再仔细排查，发现api-server/libs目录下没有 dolphinscheduler-storage-*.jar的实现包，全部加上问题解决。
2025-09-29 09:24:10
615
原创 hive表不显示列注释column comment的问题解决
安装datasophon平台hive后，发现hive表的字段注释丢失了，表的注释没问题。查网上似乎没有这方面的问题。但想不起来为什么当初要添加这两个参数，好像是有个什么问题，日后想起再说吧。删除这两个参数就一切正常了。
2025-09-01 17:04:06
215
原创 mysql导出csv中字段里有换行符的处理办法及hive导出处理办法
mysql命令行导出csv文件时，若字段里有换行符，输出的文件就会在换行符前面加一个反斜杠，这种非标准的csv导入到excel也乱行了。网上查了好多文章，都建议在相应的字段上加replace函数，把换行符替换成特殊标记，这显然是非常笨的做法，无法通用，特别是无法预测哪个字段会有换行符的。2、用sed把Csv中“+换行符”替换成“换行符”这时，再用excel打开，就不会有乱行的问题。1、导出csv时，给字符型字段值加上双引号。
2025-09-01 10:46:38
634
原创 kubernetes-dashboard使用http不登录
安装了k8s v1.28，想要安装kubernetes-dashboard以便可视化管理平台，网上很多资料都是版本比较低的，自己摸索了很久，终于搞定了。直接上配置文件，拿去kubectl apply -f k8s-dashb.yml就行了。
2025-08-23 09:37:36
308
原创 hive加载csv中字段含有换行符的处理方法
但如果csv某个字段含有换行符，尽管这个csv字段有双引号括起来了，但Hive还是处理成两行了。然后在任务最后，从输出信息里滤出“new line cols:{2,7}”这一行，解析出列号list，输出到参数newLineColNums里面。加载到临时表中，从临时表抽取数据时，如果newLineColNums参数不空，则把对应的列加上replace函数，把\n替换回换行符。我们从数据库卸数据到csv文件中，再加载到hdfs hive里，然后从csv临时表转换到parquet正式表里。
2025-08-14 14:34:00
1236
原创 dolphinscheduler中任务输出变量的问题出现ArrayIndexOutOfBoundsException
脚本本身运行没出现任何错误，但dolphinscheduler提示错误。如果colsNum为空，就会出现错误。
2025-08-14 14:09:53
330
原创 dolphinscheduler中switch和conditions任务的区别
conditions可以不指定成功或失败后的分支，但switch一定要指定所有分支下一步执行哪个任务。我的应对方法是，如果某个分支什么也不做了，就搞个shell脚本echo一个消息就结束了。conditions如果前面任务失败了，它自己也会显示为失败状态，这点我不接受，但switch没有这个毛病。
2025-08-07 11:38:55
425
原创 完美解决hive external表中csv字段内容含“,“逗号的问题
这样hive外部表使用ROW FORMAT SERDE ‘org.apache.hadoop.hive.serde2.OpenCSVSerde’，其它都完美，但唯一的问题是\N无法识别为null。为解决hive表中csv字段内容含",“逗号的问题，网上几乎都是说要用org.apache.hadoop.hive.serde2.OpenCSVSerde。本人又是追求完美型的性格，所以接着查找，最后终于找到了，就是hive原生的csv支持转义符自定义， ESCAPED BY ‘\’, 原来如此简单。
2025-08-06 11:22:50
426
原创 dolphinscheduler中一个脚本用于从列定义中提取列名列表
dolphinscheduler中，我们从一个mysql表导出数据，上传到hdfs, 再创建一个临时表，所以需要用到列名定义和列名列表。后面的任务就可以用select ${slctColumns} from table1 t 使用参数了。所以考虑只定义列定义变量，前一个任务从列定义中提取列名生成一个变量供后面任务使用。原来定义两个变量，不仅繁锁，还容易出现差错，比如两者列序不对。dolphinscheduler示例。一个从列定义中提取列名列表的脚本。
2025-08-01 15:48:18
556
原创 大数据平台数仓数湖hive之拉链表高效实现
对于缓慢变化的维度表，如客户表，员工表，为了不丢失历史数据，又不至于太浪费存储空间，我们采用拉链表实现。
2025-07-31 19:40:32
1163
原创 DolphinScheduler中dolphinscheduler_env.sh permission denied问题根治
Datasphon中DolphinScheduler执行脚本出现dolphinscheduler_env.sh permission denied错误，网上很多文章说是把到worker目录下，chmod 755 -R worker/conf 就行了，如果这么简单，那估计也不会有人上网去搜寻了，因为这只能临时解决问题，只要你重启DolphinScheduler，这个问题又来了。只要去掉这一行，或是改成。以后再也不怕重启了。
2025-07-28 17:31:41
379
原创 分享一个脚本，从mysql导出数据csv到hdfs临时目录
本脚本从mysql导出一个表到csv文件，然后上传到hdfs。其中有些步骤要检测是否成功，不成功就中断退出。本脚本用于dolphinscheduler中加载数据。
2025-07-28 17:04:51
345
原创 datasophon安装doris问题排除记录
首先，配置界面，要注意两个参数一定要改成正确的网段，否则会被识别成127.0.0.1。注意：两个priority_networks 参数必须要改成你的网段。datasophon安装doris搞了好久才成功，特别记录一下。这时候DDP会显示其它FE安装 失败的，要重新安装一次就会成功。再重新安装一下就会成功的。
2025-07-21 18:11:41
387
原创 dolphinscheduler中sqoop无法执行
发现个问题，/opt/datasophon/dolphinscheduler-3.1.8/worker-server/conf/dolphinscheduler_env.sh这个脚本和目录，每次dolphinscheduler重启后，权限变成700了，只能手动去修改成755，包括目录也要改。这个问题只要重启就会存在，正在想办法。临时办法是搞个脚本定时去修改成755。由于sqoop兼容的hdfs版本和hive版本比较低，所以用sqoop想把postgres中数据导入到hive中，想了很多办法，都不行。
2025-07-21 10:04:08
340
原创 sqoop从mysql导数据到hdfs，出现java.lang.ClassNotFoundException: Class QueryResult not found（临时和完美解决）
网上各种解决方案，有人说要把QueryResult复制到$SQOOP_HOME/lib，这显然治标不治本，QueryResult应该是根据查询语句的字段动态产生的，这样肯定每个任务都得手动复制一下才能跑。有人说加一个参数 --bindir=$SQOOP_HOME/lib，这方法可行，但会残留文件在lib目录。经试验，我发现只要正确设置了SQOOP_HOME变量，就不会报错了。
2025-07-18 17:12:17
257
原创 hive分区表临时加载日批数据文件
源系统每日上传一个csv数据文件到数据中台指定目录，数据中台用hive表进行ETL工作。其它结构性数据文件CSV, JSON。
2025-07-18 10:28:15
1467
原创 hbase突发故障：PleaseHoldException: Master is initializing 解决办法
再把zookeeper中/hbase删除，问题解决了。按网上说的，删除hdfs上/hbase目录，无效。
2025-07-14 10:33:02
400
原创 datasophon安装ranger-plugin-hbase
datasophon1.2.1没有带ranger-plugin-hbase，所以只能自己编译，但你以为编译就行了，其实问题还是很多，我坑了好久，运行总是各种classnotfound, 不停的在网上找包，终于搞定了，现分享一下，还需要手动补充的包：
2025-07-12 11:10:24
177
原创 dbEaver连接hbase，各种问题的终极解决
3、复制 cp phoenix-server-hbase-2.4-5.2.1.jar /opt/datasophon/hbase/lib/网上有不少文章，但基本都不行，主要还是hbase版本和phoenix版本的问题，经我测试，如下方法保证能连接成功。url模板：jdbc:phoenix:{host}[:{port}]/hbase。2、解压phoenix-hbase-2.4-5.2.1-bin.tar.gz。要选择和你的hbase版本对应的版本。测试一下，恭喜你，连接成功！
2025-07-11 10:54:27
515
原创 Apache Atlas编译打包，可运行包下载地址
链接: https://pan.baidu.com/s/1sLLXQ8S3HC98tkIrE_wD0g 提取码: 5ndq。我们需要安装Apache Atlas作为数据治理工具，但Atlas只提供源码，不提供可运行包。于是只能自己下载来编译了。中间会出错，有些包无法下载，自己到网上去搜索下载下来放在本地库中，再重新编译，几次下来，总是能成功的。通过网盘分享的文件：apache-atlas-2.3.0-bin.tar。那个0.0.0.0的要注释掉，否则不能访问http协议的组件库。
2025-07-08 19:30:29
322
原创 大数据平台之ranger与ldap集成，同步用户和组
ranger可以通过ranger-usersync与linux系统同步用户，但是，还有个问题，就是我们的hiveserver一般是集群，可以是多台服务器，那么我们空间同步哪一台呢，而且如果用户多了，如何管理用户登录密码呢，所以，还是要用ldap比较合理。再修改/etc/ranger/usersync/conf/ranger-ugsync-site.xml。接下来，就是要设置ranger-usersync模块了。修改完成后，执行./setup.sh完成安装。
2025-07-08 11:25:19
671
原创 Datasophon的Ranger安装时数据库踩坑及问题解决
我司安装大数据平台，要用到Ranger，Ranger可支持mysql, postressql等数据库，但我司使用的是Datasophon平台，而ddp只支持mysql，可能是其它组件有些不支持postgres吧。特别注意的是，mysql只能用5.7，不要用其它版本。centos7.4默认的是mariadb5.5，我为图省事，直接使用5.5版本，结果很多索引创建的问题，后来改用mariadb12，但安装ranger时老是报删除表时，FK导致删除失败，再后来改用5.7完全没问题了。
2025-07-04 14:28:21
216
原创 Datasophon1.2.1安装大数据平台重新整理
Datasophon安装大数据平台的确特别省事，但安装过程中还是发现不少问题，所以特别整理一下。首先要注意的是，不要一下子全部安装，否则会有很多问题，特别是Ranger必须稍后安装。如果是重新安装，把所有机器的/data/*清除干净。自定义配置hadoop-env.shHADOOP_PID_DIR=$HADOOP_HOME/pid这里要注意，hive metastore服务地址 这个它不会自动替换，需要手动替换，如：另外再加一个自定义配置hive-site.xml的变量：hive.server2.a
2025-07-04 14:08:21
647
1
原创 hive2服务启动报错：/tmp/hive on HDFS should be writable（不是chmod 777能解决的）
后记：hive这个报错误导人，报的是/tmp/hive的权限问题，实际上则是/user/hive目录的权限问题，所以很是误人子弟！
2025-07-01 15:04:50
455
原创 Hadoop集群异常：两个NameNode全部为StandBy状态
是不是zookeeper出问题了？我早上重新生成了zookeeper的krb5证书，可能是不行了吧，尝试重启zookeeper，果真不能启动了，于是删除了zookeeper的数据目录，重建myid文件。两个namenode都是standby，都不想干活了吗？网上查了一下，说是强制转其中一台为active，然后再重建myid文件。这下zk启动成功了。启动namenode，失败。再启动journalnode，成功。这下终于启动成功了。
2025-06-28 15:48:17
287
原创 Datasophon1.2.1安装HDFS开启Kerberos
Datasophon1.2.1是一个很优秀的大数据管理平台，安装管理起来非常直观。但由于公司级的使用必须要开kerberos，Datasophon开启kerberos后，是不能自动安装完成的，需要手动做一些工作。
2025-06-27 18:06:44
915
原创 HTTPS hostname wrong: should be ＜xxx＞错误解决
网上搜了一圈，都是说让写一段代码JRE相信所有的证书和对系统的域名和证书域名，但是我们是安装hadoop，总不能去改别人的程序吧！关键是CN要是你的服务器名，比如我的机器名是dmp-hdfs-ns1，这里用$HOSTNAME确保正确。这一步最关键，CN域一定要是服务器名。
2025-06-27 16:38:57
465
新路由3不掉速eeprom请自行改MAC.zip
2020-03-02
奇瑞捷途X70悦行版车机升级包
2021-09-06
dubbo-admin-0.2.0.jar
2020-06-23
Linux下运行邮E联
2021-01-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人