项目部署的时候出的小问题
吃素的哈士奇
这个用户 很懒 什么都没留下。。。
展开
-
【打包问题】执行mvn spotless:apply之后,import的包被去移除了
是为了规范化代码的,所以***import java.utils.****这种注释其实是不规范的,因为是一次性引入多种无用包,所以会自动删除。我为了展示效果所以把下满应该引入的包注释了出来,其实,一开始我引入ArrayList,list这些包的时候,idea给我合并成了。执行mvn spotless:apply之后。那么我刚刚之前说了,原创 2023-07-11 09:35:53 · 480 阅读 · 0 评论 -
【遇到的问题】ServiceLoader.load(Driver.class),没有找到Driver接口对应的实体类
java.util.ServiceLoader工具类方法会使用ClassLoad类的getResources方法获取指定目录下的文件,读取文件内容并解析获取所有接口实现类的全限路径,根据全限路径使用class.forName装载class文件到JVM,然后通过c.newInstance()实例化类转化接口类型并放入providers缓存提供者集合中,以供后面使用。但是在进行:ServiceLoader drivers =ServiceLoader.load(Driver.class);原创 2023-06-28 15:05:34 · 564 阅读 · 0 评论 -
【新建项目】本地跑得起来,但是,打包放在服务器上就失败,springboot的容器问题,tomcat、jetty,Undertow,netty 四大容器
springboot的四大容器tomcat、jetty,Undertow,netty,只能用其中一个,因为hive-service的包,已经占用了,所以就不再使用tomcat,但是jetty的包又不完整。加载hive-service相关包的时候有jetty的相关包被引入。jetty的包的缺失。引入完整的jetty。原创 2023-02-28 15:12:09 · 645 阅读 · 0 评论 -
【监控开发】jps命令怎么远程调用另一个IP的机器(使用jstatd服务支持)
【代码】【监控开发】jps命令怎么远程调用另一个IP的机器,jstatd服务支持。原创 2023-01-29 14:28:59 · 400 阅读 · 0 评论 -
【现场问题】zookeeper的集群,其中两台起来了,但是另外一台就是起不来,或者起来也是standalone
就是说data里面除了:myid,version-2,zookeeper_server.pid。原创 2022-12-08 15:16:59 · 1428 阅读 · 0 评论 -
【项目调优】项目从EhCache缓存变为redis之后,加载菜单变得极其缓慢
这就是为什么换了redis方式之后变卡了!【其实redis已经很快了,毫秒级别,但是架不住次数多啊,400多个菜单就要循环400多次,一加起来就可能是40s甚至更多】这种类似的对象模式的获取后台值,其实都是相当于实时的拼接这个jsp界面,所以这个界面虽然看起来好像是在加载,但是其实,一直都是在走后台。有人就会问了,为什么从EhCache(java内存)里面拿的时候快啊,因为是内部的啊!是redis的几千倍几万倍!既然问题已经找到了,那就解决掉这个方法就好了!逻辑:一级菜单,二级菜单,三级菜单。原创 2022-11-04 18:28:45 · 755 阅读 · 0 评论 -
现场需求,定时抽取数据的时候,如果源表没有数据(3次以上),要进行报警处理
1、关于现场的问题,离线数据同步,在抽取源数据库的时候,源数据库没有数据,那么这个时候数据虽然同步了,但是其实也是无效的,所以需要在源数据库增量数据(一段时间段内增加的数据)为空的时候,记录一下,3次增量数据为空,就进行报警处理。2、离线数据的上两个节点,sql节点(每次查到为空的增量就记录一次数据到临时数据表里面),magic-api节点(http节点,查询到大于3的时候就返回错误),错误条件之后发通知,同时不走离线数据同步。1、建立一个临时表,是用作记录失败数据的次数的。原创 2022-09-26 10:44:36 · 221 阅读 · 0 评论 -
JSONObject遍历的时候顺序不一致,导致数据对应出错
记住版本尽量用我给得这个1.2.76,千万别用1.2.78.有可能会报错!JSON的顺序是按照输出是按key的Hashmap来排序的,而Hashmap是无序的,所以取值的时候,就是随意顺序取。给JSONObject转化的时候加上。原创 2022-07-27 09:51:59 · 1164 阅读 · 0 评论 -
现场dolphinscheduler每次都在晚上停止任务15分钟,是什么导致了这个情况?
每晚都出现15分钟的断档问题描述原因定位问题描述每分钟都执行一次datax,也就是数据迁移,但是每次到3点,就出现不执行,然后等到3.15才执行原因定位mysql需要执行备份任务,备份期间(现场的备份放在了3点开始执行),锁死数据库,数据库进入不可操作状态,虽然datax链接了数据库也获取了正确的链接,但是数据库的状态为非正常状态,无法连接状态。导致了datax无法正确执行,所以缺失了15分钟的任务。...原创 2022-04-01 16:39:52 · 916 阅读 · 0 评论 -
线上问题执行.sh文件,权限不足
报错对应文件内容${PYTHON_DATAX} ${DATAX_HOME} /tmp/datastudio/exec/process/21/2619/124954/202/2619_124954_202_job.json${PYTHON_DATAX} 对应的是 /opt/soft/python_datax${DATAX_HOME}其实内容本身没啥问题原创 2022-03-10 15:55:54 · 637 阅读 · 0 评论 -
dolphinscheduler用es5.4的时候master和worker无法启动
dolphinscheduler用es5.4的时候master和worker无法启动为什么呢为什么呢es5.4的底层是Nettydolphinscheduler的master和woker底层也是netty驱动冲突了!原创 2022-03-03 11:53:26 · 806 阅读 · 0 评论 -
dolphinscheduler的现场问题,没有选对租户,权限不对
dolphinscheduler关于dolphinscheduler的用户和租户租户用户用户绑定租户现场出现的问题关于dolphinscheduler的用户和租户租户什么叫租户,就是实际去执行liunx系统的人,那么就是liunx的用户。最高权限root,或者自己建立的userA用户什么叫用户:就是自己在dolphinscheduler这系统中建立的操作的人,比如XXX用户绑定租户把XXX绑定上userA的身份,那么在dolphinscheduler这个系统运行到某些需要在服务器(liunx)原创 2022-02-17 17:05:23 · 4006 阅读 · 2 评论 -
2021-10-14-东营现场出现问题,dolphinscheduler系统(master分配任务失败,worker无法调动,zk报错无法连接worker)
这里写目录标题master报错worker没有报错,但是不执行zk报错一直连接不上worker解决方式(初始化所有表,因为worker相关表被客户删了)master报错worker没有报错,但是不执行zk报错一直连接不上worker解决方式(初始化所有表,因为worker相关表被客户删了)其实是客户把worker相关的表给删了(给气死TMD)或者补上所有缺失的表,建议第一种,初始化,数据什么的爱谁谁!...原创 2021-10-14 09:35:32 · 916 阅读 · 0 评论 -
dolphinscheduler-部署的多worker和多master(集群),针对datax出现的问题(容易遗忘)
这里写目录标题现场出现的问题为什么会这样现场出现的问题datax需要进行修改,其实有三台机器需要修改,但是我只改了一台机器,造成了修改后的效果没显示出现。为什么会这样集群模式:一般有多个worker和master,就要对应要多个datax,为什么要多个datax呢,因为最终驱动datax的其实是worker,所以对应的多个worker其实要多个datax实现工具与之匹配,同理如果要部署flinkx其实也是一样需要三台机器一起部署的...原创 2021-09-29 14:26:55 · 793 阅读 · 3 评论 -
DATAX的FTP的路径为中文时候乱码问题
FTP的源和目标FtpReader(源)需要修改的类StandardFtpHelper方法getListFilesgetInputStream方法FtpWriter(目标)需要修改的类StandardFtpHelperImpl方法getAllFilesInDir方法getOutputStream最终的两个整体类StandardFtpHelperStandardFtpHelperImplFtpReader(源)需要修改的类StandardFtpHelper方法getListFilesgetListFi原创 2021-07-14 16:15:05 · 529 阅读 · 0 评论 -
发布问题,shell脚本发布,为什么会出现两套进程
shell脚本问题发布目录进行发布部署到另外的服务器上什么是发布目录install.sh为什么会出现两套进程发布目录进行发布部署到另外的服务器上什么是发布目录就是只是存放发布的代码的地方,所有服务器上的代码,都是由发布目录复制粘贴进去的install.shinstall.sh里面存放的是什么代码呢1、stop所有的服务2、复制粘贴所有的发布目录代码,转发到运行环境上3、start所有的运行环境为什么会出现两套进程1、进程卡死,stop不了2、未stop掉进程,直接start,两个进程同原创 2021-07-15 09:52:39 · 503 阅读 · 0 评论