DAS连续测试下卡死问题

最新推荐文章于 2021-05-16 22:27:37 发布
最新推荐文章于 2021-05-16 22:27:37 发布
阅读量891 收藏
点赞数
分类专栏： TODO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wherwh/article/details/27334321
版权

1.问题

测试DAS时,如果bbox的参数按为方便快速调试调整参数(缩短间隔时间)后,出现发送端卡死的情况.

bbox.conf 
<send_data_interval>3</send_data_interval>
<inquiry_timer_interval>60</inquiry_timer_interval>
<inquiry_interval>1</inquiry_interval>
<!--控制水位标.默认:300 -->
    <water_mark>300</water_mark> 
    <!--活动跟踪超时值,单位:秒.默认:300 -->
    <action_trace_timeout>300</action_trace_timeout>

调整参数后程序正常 
<inquiry_timer_interval>60</inquiry_timer_interval>
<inquiry_interval>10</inquiry_interval>
<!--控制水位标.默认:300 -->
    <water_mark>1000</water_mark>


分析5.24,5.25,5.26的日志: 


[2014-05-26 00:01:47:558][线程8584][2][20][0][]CConnectorEventTask::handle_message_block() Event=2,info_flag=114.msg_count=0.
[2014-05-26 00:01:47:558][线程8584][5][20][0][]Sock_Handler::start_write.队列个数：6445.
[2014-05-26 00:01:47:558][线程8584][2][20][0][]CConnectorEventTask::handle_message_block() Event=2 ok.
[2014-05-26 00:01:47:558][线程8584][2][20][0][]CConnectorEventTask::handle_message_block() Event=2,info_flag=114.msg_count=0.
[2014-05-26 00:01:47:558][线程8584][5][20][0][]Sock_Handler::start_write.队列个数：6446.
发送队列出现堆积. 

[2014-05-25 21:51:47:560][线程472][1][20][0][][thread 472]file:e:\svn\das\trunk\ls\server\common\semq.cpp line:1659
[2014-05-25 21:51:47:560][线程472][1][20][0][]CSEMQ::handle_timeout ok,num of action_trace:300 .
[2014-05-25 21:52:47:558][线程472][1][20][0][][thread 472]file:e:\svn\das\trunk\ls\server\common\semq.cpp line:1659
[2014-05-25 21:52:47:558][线程472][1][20][0][]CSEMQ::handle_timeout ok,num of action_trace:300 .
流量控制出现堆积和超时.(消息返回不及时) 

[2014-05-25 11:14:47:836][线程1068][2][20][0][]接收到消息(6:809,S=8:0,D=1:10600,cmdserial=0),进入处理队列1,队列元素个数为32768...
[2014-05-25 11:14:47:836][线程1068][1][20][0][][thread 1068]file:e:\svn\workdb\供应宝\hotfox\trunk\task.cpp line:109
[2014-05-25 11:14:47:836][线程1068][1][20][0][]HTX_Task_Base(HTX_Scheduler)队列元素个数=32769.

HTX_Scheduler队列1出现阻塞。

默认队列大小（字节数）
const unsigned long DEFAULT_QUEUE_WATER_MARK = 128*1024;

每个元素存放的是4字节指针，所以最大元素个数为32k字节

HTX_Dispatcher_Task也出现阻塞： 
[2014-05-25 21:50:48:093][线程4204][1][20][0][][thread 4204]file:e:\svn\workdb\供应宝\hotfox\trunk\sockhandler.cpp line:597
[2014-05-25 21:50:48:093][线程4204][1][20][0][]Sock_Handler::handle_read_stream socket=3988 channel=1...
[2014-05-25 21:50:48:093][线程4204][1][20][0][][thread 4204]file:e:\svn\workdb\供应宝\hotfox\trunk\task.cpp line:94
[2014-05-25 21:50:48:093][线程4204][1][20][0][]HTX_Task_Base(HTX_Dispatcher_Task)队列元素个数=32769.

最后会导致通信阻塞.


start_write的原因是通信阻塞，通信阻塞是因为HTX_Dispatcher_Task阻塞，HTX_Dispatcher_Task阻塞是因为HTX_Scheduler阻塞。

HTX_Scheduler阻塞是因为处理：809-Confirmation消息。
 ---处理消息没有结束
 线程8676在5.24日就已经阻塞！！！ 
 [2014-05-24 18:25:48:451][线程4112][1][20][0][]CSEMQ::ActionAck 2_1_1_116855...
[2014-05-24 18:25:48:451][线程8676][4][20][0][]接收到809确认[semq_id:1,semq_db_id:1,ref_id:116861,result:1]
[2014-05-24 18:25:48:451][线程8676][1][20][0][][thread 8676]file:e:\svn\das\trunk\ls\server\common\semq.cpp line:1641
[2014-05-24 18:25:48:451][线程8676][1][20][0][]CSEMQ::ActionAck 2_1_1_116861...
这是8676线程最后输出的日志。
从数据库连接使用情况看，该线程占用了第35个连接，一直没有释放（包括到5.25,5.26的日志）
可见，阻塞在处理809-Confirmation消息上.
result=1,表示是成功的确认。


2.代码分析

问题应该出在下面的代码中(注意:ack=1----result的值为ack).
且注意并没有阻塞在CSEMQ::ActionAck中。（从其函数实现代码分析得出，只有action_trace_涉及锁，该对象在后来有被一直使用）。

***下面的代码，缺少精确定位的日志。只能借助逻辑分析
----肯定是得到了数据库连接（此前该线程没有获取连接），

***增加日志，以便内部测试时验证分析！！！

int CBBoxPlugin::OnRespInquiry(CWrappedMsg<> *in,vector<CWrappedMsg<> *> &out,DISPATCH_RESULT &or) {

        CSEMQItem qe;
        int iRet = semq_.GetItem(qe, 0,0,ref_object_id);
        if(iRet < 0)
        {
            //pdbor->RollbackTrans();
            return -3;
        }
        if(iRet == 1)
        {
            GETDBC_RETURN(pdbor,this->local_dbc_.c_str(),-1);   ///< @分析 这里获取的连接
            pdbor->BeginTrans();
            result = semq_.UpdateStatus(ref_object_id,ISEMQ::SS_ACK2);
            if(result)
            {
                pdbor->RollbackTrans(); ///@分析 没有从此处退出
                return -2;
            }
            if (!qe.sc_key_.empty()) { ///< @分析肯定是有时序控制的(如果确认的是单据消息，目前应该全部是单据消息)
                CQQ_OBJECT_ID next_object_id=qe.object_id_;
                int ret = semq_.GetNextSeqCtrlRecord(qe.sc_key_.c_str(),next_object_id);
                if (ret==1) {
                    pdbor->SetTXHook(TxHook,&semq_); /// @分析 事务挂钩. 把下一个相同时序控制键的记录执行发送
                    semq_tss_->v_rec.push_back(new SEMQ_RECORD_DATA_PAIR(next_object_id, qe.sc_key_));        
                }
                else if (ret==-1) {
                    pdbor->RollbackTrans();
                    return -3;
                }
            }
            /// @分析 只有lm处理DATA_SEND_OUT事件，来修改单据表中单据的状态。调用 pSheet->UpdateSendStatus。
            /// 该方法执行的就是SQL update语句。不应该阻塞在此。
              
            if (!ISEMPTY_STR(qe.ref_key_.c_str())) {
                vector<string>  vs;
                if (SplitString(qe.ref_key_.c_str(), vs) >= 2) {///< 应用关联键的格式:域,数据类型,子类型,记录定位键.其中域,数据类型是必须的
                    ///< 产生数据发送事件
                    CDataSendoutEvent *e = new CDataSendoutEvent;
                    e->data_type_ = atoi(vs[1].c_str()); ///< 数据类型
                    e->sub_type_ = ISEMQ::SS_ACK2; ///< 状态作为子类型
                    const int kLen = 33;
                    char sz_orgid[kLen];
                    ltoa(qe.src_id_,sz_orgid,10);
                    e->ref_ = qe.ref_key_ + "," ;
                    e->ref_ += sz_orgid;
                    e->dest_t_ = qe.dest_type_;
                    e->dest_id_ = qe.dest_id_;
                    e->send_time_ = qe.send_time_;
                    ///< 激发事件
                    if (event_controller_->pulse(DATA_SEND_OUT,e)) { ///< 激发事件失败,事务回滚
                        pdbor->RollbackTrans();
                        return -4;
                    }
                }
            }
            FAIL_RETURN(pdbor->CommitTrans(),,-1);
            ///< @分析 这里提交，提交后会执行TxHook中的
            ///             semq->SendRecord(data->object_id);


****问题应该出现在以下环节：（测试后跟踪）

int CSEMQ::SendRecord(CQQ_OBJECT_ID object_id) {
    CSendTaskItem *sti = new CSendTaskItem;
    sti->action_ = 1;
    sti->type_ = 1;
    sti->object_id_ = object_id;
    ACE_Message_Block *mb = 0;
    ACE_NEW_RETURN(mb,ACE_Message_Block(sizeof(CSendTaskItem*)),-1);
    memcpy(mb->rd_ptr(),&sti,sizeof(CSendTaskItem*));
    pre_send_task_.putq(mb); ///< @分析 pre_send_task_阻塞了？
    return 0;
}

pre_send_task_的主要处理如下
int CSEMQ::GetData(string &sql) {

        int cnt = send_task_[st_index].putq(mb);
        if(cnt > 100)
            GetLogger()->log(LO_STDOUT|LO_FILE,SEVERITY_INFO,"CSEMQ::GetData 发送队列序号%d, 队列个数%d\n",
            st_index,cnt);


[2014-05-24 18:25:48:030][线程6428][2][20][0][]CSEMQ::GetData扫描记录数:0,发送记录数:0.耗时:0.00秒
[2014-05-24 18:25:48:030][线程6428][2][20][0][]CSEMQ::GetData... ///< 此函数在当天5.24日的日志中没有结束信息（如上内容）

而6428的线程当天最后的日志如下：

[2014-05-24 23:59:47:575][线程6428][2][20][0][]CSEMQ::GetData 发送队列序号0, 队列个数32769

在第2天(5.25日)中该线程的活动有：
[2014-05-25 00:31:48:017][线程6428][2][20][0][]CSEMQ::GetData扫描记录数:3389,发送记录数:3385.耗时:21959.99秒
[2014-05-25 00:31:48:017][线程6428][2][20][0][]CSEMQ::GetData...

从5.24到5.25之间耗时6多个小时（21959秒，与日志输出时间相当）----每条记录处理时间:6秒。

表示pre_send_task_任务阻塞了6个小时!!!


[2014-05-24 18:26:47:559][线程6428][2][20][0][]CSEMQ::GetData 发送队列序号0, 队列个数32769
[2014-05-24 23:59:47:575][线程6428][2][20][0][]CSEMQ::GetData 发送队列序号0, 队列个数32769

---虽然队列元素满，但一直在执行，并未卡死。

send_task_(CSEMQSendTask) 

///< 负责把消息队列的元素发送出去
int CSEMQSendTask::handle_message_block(ACE_Message_Block *mb) {
    SHORT_SEMQ_RECORD *ssr = 0;
    memcpy(&ssr, mb->rd_ptr(), sizeof(SHORT_SEMQ_RECORD*));
    mb->rd_ptr(sizeof(SHORT_SEMQ_RECORD*));

    int result = this->semq_->Proc(ssr);
    delete ssr;
    return result;
}
int CSEMQ::Proc(SHORT_SEMQ_RECORD *ssr) {
    GetLogger()->log(LO_STDOUT|LO_FILE,SEVERITY_DEBUG,"CSEMQ::Proc,dest_type=%d,dest_id=%d...\n",ssr->dest_type_,ssr->dest_id_);
    int ret = Send(ssr);
    GetLogger()->log(LO_STDOUT|LO_FILE,SEVERITY_DEBUG,"CSEMQ::Proc结束.ret=%d.\n",ret);
    return ret;
}

[2014-05-24 23:59:47:575][线程4772][1][20][0][]CSEMQ::Send 结束.is_ok=1.耗时:0.01秒.
[2014-05-24 23:59:47:575][线程4772][1][20][0][]CSEMQ::Proc结束.ret=0.

说明send_task_一直在执行，没有卡死。


彻底阻塞应该是CSEMQ::SendRecord调用处产生的。

但目前无法解释.


3.后续跟踪

下次出现时，检查日志中以下内容：
增加日志输出内容：
(1)CBBoxPlugin::OnRespInquiry
                int ret = semq_.GetNextSeqCtrlRecord(qe.sc_key_.c_str(),next_object_id);
                GetThisLogger()->log(LO_STDOUT|LO_FILE,SEVERITY_DEBUG,"取下一个相同时序键%s的记录.qe.object_id=%I64d,next_object_id=%I64d,ret=%d.\n",
                    qe.sc_key_.c_str(),qe.object_id_,next_object_id,ret);

(2)CSEMQ::SendRecord
int CSEMQ::SendRecord(CQQ_OBJECT_ID object_id) {
    GetLogger()->log(LO_STDOUT|LO_FILE,SEVERITY_DEBUG,"CSEMQ::SendRecord(object_id=%I64d)...\n",object_id);

    CSendTaskItem *sti = new CSendTaskItem;
    sti->action_ = 1;
    sti->type_ = 1;
    sti->object_id_ = object_id;
    ACE_Message_Block *mb = 0;
    ACE_NEW_RETURN(mb,ACE_Message_Block(sizeof(CSendTaskItem*)),-1);
    memcpy(mb->rd_ptr(),&sti,sizeof(CSendTaskItem*));
    int cnt = pre_send_task_.putq(mb);
    GetLogger()->log(LO_STDOUT|LO_FILE,SEVERITY_DEBUG,"CSEMQ::SendRecord ok.pre_send_task队列元素个数:%d.\n",cnt);

    return 0;
}

wherwh
关注
专栏目录
DAS_V7.3.7安装包
06-14
用于连接英飞凌TriCore系列MCU下载器的驱动程序软件DAS64，随ADS V1.6.0一同发布，可建立本地或远程UDS服务器，用于ADS软件连接并调试、下载程序
实现多线程下msgsnd，msgrcv的超时
ZRXSLYG的博客
05-21 2221
msgsnd和msgrcv，只有在一下三种情况下，才会退出阻塞状态 写或读消息队列成功 对应的消息队列被删除 信号中断 为了做到超时退出阻塞状态，一般常用的做法是通过alarm，触发信号中断，但是只能是在一个线程的情况下执行。 多线程下调用alarm，SIGALRM信号会传递给其中一个线程（我测试下是传递给主线程…） 我的做法是，写个定时器，由单独的一个线程执行定时器，执行msgsnd和msgrcv的线程需要注册相应的事件到定时器中，由定时器线程通过pthread_kill，向对应线程发送信号，使得ms
linux nas异常排查,Ubuntu 14.04卡死排查与修复
weixin_31119281的博客
05-16 837
之前偶尔会出现鼠标突然卡住不能动,键盘也没有反应的情况,不过过一会都会好过来,但今天开始频繁地卡死,只能强制关机来重启(心疼我的ssd),于是想看一下到底是哪个进程卡死的系统.在终端中用top -i命令可以看到当前系统进程的资源占用情况,我这里就可以很明显看到kWorker占用CPU内存高达70%以上,知道了始作俑者也就很好解决了.去网上查一下发现这种情况并不少见,下面是对我有效的解决方案.首先使...
测试中，一些不常见的问题汇总
qinguodong19930321的博客
08-07 1282
1、点击一些按钮的时候从多个角度去点击，之前有遇到按钮只有点击上面一点点的位置才起作用的。 2、使用chrom浏览器模拟IE功能并不完全准，比如模拟的IE8和实际的IE8在某些功能上是有区别的，所以以兼容性测试的时候还是需要安装真正的浏览器。 3、测试支付，若是支付的额度较大时，考虑用户能否支付。例如支付宝和微信对银行卡的支付额度都有限制。 4、当有多个链接同时跳转到同一个地方的时候，需要查
关于Linux系统消息队列中出现的msgsnd与msgrcv使用出现的问题分析：
weixin_42678510的博客
09-12 2454
关于Linux系统消息队列中出现的msgsnd与msgrcv使用出现的问题分析： 1：msgsnd出现identifier removed： int msgsnd(int msqid, const void *msgp, size_t msgsz, int msgflg); 说明msqid出现了问题，查找之上找到问题是： 红...
导致系统性能卡又慢的原因汇总（不断补充）
02-11 1813
系统的配置参数没有正确配置，如数据库，redis等。具体可以参考：项目性能优化参数配置汇总 TCP的配置，在特定的场景中，有可能会遇到延迟的ACK，它会限制链路上所发送的数据包，每秒钟只会有2-5个数据包。这是因为TCP两个算法所引起的死锁：Nagle以及TCP Delayed Acknowledgement。在200-500ms的超时之后，会打破这个死锁，但是微服务之间的通信却会分别受到影响。...
DAS外接式存储设备
11-30
由于这种方式下数据和操作系统通常是不可分离的，DAS主要用于满足单台服务器的存储空间扩展和高速数据传输需求。 随着技术的发展，DAS设备的容量已显著提升，从早期的不足1TB增长至现在的2TB以上，而且随着更大容量...
das.rar_das_visual c
09-22
标题中的“das.rar_das_visual c”可能是指一个名为“das”的RAR压缩文件，其中包含与Visual C++相关的资源或项目。Visual C++是微软公司开发的一款强大的编程环境，主要用于编写使用C++语言的Windows应用程序。它...
das Kapital.zip
04-26
Das Kapital. Kritik der politischen Ökonomie, eines der Hauptwerke von Karl Marx, ist eine Analyse und Kritik der kapitalistischen Gesellschaft mit weitreichenden Wirkungen in der Arbeiterbewegung ...
进程间通信-消息队列问题：msgsnd: Invalid argument
Gerald_Jones的博客
05-31 1298
问题： msgsnd: Invalid argument 解决方案 The msgp argument is a pointer to caller-defined structure of the fol‐ lowing general form: struct msgbuf { long mtype; /* message type, must be > 0 */ char mtext[1]; /* message data */ }; The
msgsnd的一个小问题
liuxingen的专栏
08-15 2703
今天写了一个System V消息队列的小例子，定义了一个如下的结构体：#define MSG_SIZE 8192struct request { long mtype; int client_id; char pathname[MSG_SIZE]; }; 接着我调用msgsnd想把这个结构体发送给server，但是发现报错了： msgsnd error, Invalid
消息队列通信msgsnd函数时一直invalid argument
EnjoyInwind的专栏
07-10 9281
<br />这个问题困扰了我好长时间，郁闷死啦！先说说问题吧！<br />我是想建多个客户端让其与服务器进行通信，客户端程序如下：<br />#include <stdio.h>    <br />#include <fcntl.h>    <br />#include <stdlib.h>    <br />#include <string.h>    <br />#include <sys/types.h>    <br />#include <sys/ipc.h>    <br />#include
在中断里面发送消息队列，卡死在优先级的assert里
宁静以致墨的专栏
07-23 1237
#define DMA_PRIORITY_ULTRA_HIGH CHCTL_PRIO(3) 修改为 #define DMA_PRIORITY_ULTRA_HIGH CHCTL_PRIO(7) #define configMAX_SYSCALL_INTERRUPT_PRIORITY 32 修改为 #define configMAX_...
Helios 的android智能提示导致卡死问题解决办法
weixin_34362875的博客
11-27 87
2019独角兽企业重金招聘Python工程师标准>>> ...
服务器巡检工具(Xeej)
热门推荐
wherwh的专栏
10-16 1万+
1.概述 服务器巡检工具用于系统各个服务器的实时监控,在系统出现异常时通知管理员. 本方案是针对gyb定义的,并未考虑对其它项目的适用性。（如机构ID概念，平台依赖性） 特性: .对需要巡检的服务器按照设置的时间策略进行巡检。 .巡检内容预定义。 .形成巡检报告，特别是针对异常情况。 .发送巡检报告（邮件和短信方式）。 .错误提醒：界面提示和声音告警。 (巡检报告目前
das 2.0开发记录
wherwh的专栏
09-23 1396
本文目前是工作过程记录的素材整理，尚 1.内存对象定义及访问 核心的内存对象描述对应的系统资源，主要包括机构，用户，服务器。 原来本地和平台是2套分别定义的。 本地： MEM_SVR_DATA定义:common\APBase.h SERVERINFO,USERINFO,ORGINFO定义:    common\APBase.h     统一定义到:     .i_m
DAS问题与云计算、物联网视角下的存储转型
云计算与物联网的发展中，分布式存储技术如DAS（Direct Attached ...云计算提供了更完善的存储解决方案，通过虚拟化和网络化的存储方式，解决了DAS存在的诸多问题，满足了现代企业对数据管理和业务连续性的更高要求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值