如果日志没有报错,但数据同步很慢或者不同步,可以查看日志的抽取和写入数据的时间,查看是否是数据库性能造成的同步慢问题。
打开日志后,先根据流程号来确定日志的位置,然后再根据线程号来逐步查看日志。
主要还是看tong.dxp.run.log日志,日志位置在TongDXP/NodeAgent/logs目录下,日志[ ...]括号内为线程名字,主要从以下几个线程来看。
1. 抽取线程日志,例如:[extract-6-thread-31]
这个为从数据库抽取数据日志,通过这一段可以查看到抽取结束和耗时时间: End the job process[S_6f4d0e9d79154797ad4ceaff6c3dd877] and currentTimeMillis[1617241287051], use [293]ms.
2.发送到TLQ的线程日志,例如:[send-task-1-thread-1]
这个是把数据文件发送到TLQ的日志
3.从TLQ接收的线程日志,有两个,例如:[msg-receive-3-thread-1]和 [msg-pipe-7-thread-1]。为从TLQ接收的日志
4.解析数据文件并入库线程日志,例如:[pool-16-thread-9]
通过这一段可以查看到抽取结束和耗时时间: totle row size[1],sucess row size[1], failed row size[0],use time[19]ms
TongDXP正常运行有以下几个进程:
1.五个TLQ的进程:tl_snd、tl_rmt、tl_rcv、tl_mon、tl_clibroker
2.两个mysql进程:mysqld
3.两个java进程,一个是节点的java进程,一个是管理中心的java进程。如果不是管理节点,只有一个节点java进程。
重启TongDXP时一定要确保所有进程都已经销毁。重启成功后检查以上进程是否都已正常启动。
如使用:ps -ef|grep tl_