hh

code修改方案：
一，消息接收和消息处理修改：
1，现有socket接收线程数为cpu_num+2，为静态，功能与方案相符且性能稳定，当前不进行修改，针对TDOA分站不稳定的状态处理，后续添加;
2，将消息处理创建的线程池方案改造成静态线程和静态内存分配，涉及修改：
    a，新增动态缓冲区初始化，获取，释放功能代码；
    b，创建静态线程，处理socket接收到的消息；
    c，CYAServerDlg::OnReceive，将此函数里的malloc获取内存方案改为使用a初始化的缓冲区方案，删除QueueUserWorkItem创建的线程；
    d，主要改造：
       WINAPI _parse_data_server()，
       CYAServerDlg::parse_data_server()，
       WINAPI _parse_package_data(LPVOID lparam)，
       CYAServerDlg::parse_package_data(BYTE* DataBuffer, int nLen, DWORD dwConnID )，
       删除此流程里的malloc（），改QueueUserWorkItem创建线程处理消息为向b创建的线程发送消息










3月4日：
定位系统问题：定位坐标不连续问题，
当前进展：
1，添加系统定位手段，在业务处理流程添加打印计数。
2，系统代码编写，测试完成。
3，系统集成进行中。
定位手段概述：
1，Server启动TCP socket，监听定位消息。
2，Client发送TCP消息到Server，Server解析消息，进行相应的处理，向client输出debug 信息，例如：client 发送“show sync status”， Server将发送打点计数信息：
STATION_SYNC_BRANCH_5 = 3, 
STATION_SYNC_BRANCH_6 =2,
依据打点在程序中的位置，我们可以进行问题定位。






2，初步添加流程打点计数，分析发现TDOA消息有重发现象，此问题会导致TDOA无法完成，定位tag无可用时延进行定位计算，导致定位坐标丢失。








问题1，同步消息出现重发现象，
数据1：
接收到的TCP消息数LocationSystemCount[6]:2277，
实际接收到的TDOA 0xa78e消息数LocationSystemCount[9]:2355，
重发比例：2355-2277/2355 = 3.31%


数据2：
接收到的TCP消息数LocationSystemCount[6]:50631，
实际接收到的TDOA 0xa78e消息数LocationSystemCount[9]:50762，
重发比例：50762-50631/50762 = 0.2%




此问题需要硬件同事协助继续分析。


问题2，同步消息数超限，初步评估是链路异常导致的消息缓存异常。
数据1：
总同步消息数：LocationSystemCount[9]:2355
缓存超限丢弃的消息数：LocationSystemCount[12]:1527
同步成功消息数：LocationSystemCount[69]:778
同步计算失败比例：1527/2355 = 64.8%
数据2：
总同步消息数：LocationSystemCount[9]:50762
缓存超限丢弃的消息数：LocationSystemCount[12]:33987
同步成功消息数：LocationSystemCount[69]:16724
同步计算失败比例：33987/50762 = 66.9%








1，压力测试时消息发送无定位结果问题定位完毕，解决完成；
2，压力测试结果：
测试环境：笔记本电脑，CPU 双核，2.3G， 4G内存
20000包/s, 90分站，80张卡，CPU占用率65%，内存未明显增加。
3，异常计数LocationSystemCount[55]与鸿振一起分析，解决完毕；






    郑伟在加入团队后，编写程序打点计数工具、压力测试工具，解决系统内存泄露、宕机问题，保证采集系统的稳定运行，表现突出的开发经验和技术能力。
     在TDOA时间同步测试，NLOS测试中，以数据说话，为解决现场问题提供依据和方向，做事严谨、有方法

卡尔曼滤波

MQTT （Message Queuing Telemetry Transport，消息队列遥测传输）
OTA(Over-the-Air Technology)空中下载技术






查询大量数据，实时输出




这个项目大开眼界，比特币地址当作域名，网页通过BT下载，不需要服务器，也不需要DNS照样访问。也就是说，这种网站没法封锁和取缔。 




谷歌的三宝（GFS,MapReduce,BigTable）


1. Bloom Filtering
基本的Bloom Filtering支持快速的插入和查找操作，是一种hash表技术。基本的数据结构非常简单，容量为m的位数组，k个hash函数，将输入的n个元素存储在位数组里面。
每次插入一个新的元素，先计算该元素的k个hash指，将位数组对应hash值位置为1. 查找某个元素时，同样的先计算k个hash值，然后查询看是否对应位数组中得k位是否都是1，是则断定元素存在。
基本的Bloom Filtering算法可以用于允许误差的快速判重操作。集合的交集、并集的计算。
Bloom Filtering有个改进的版本counting bloom filtering可以支持数据的删除操作，countering bloom filtering和基本的bloom filtering相比，位数组中每一位的取值扩展成多位，基本的bloom filtering用1bit表示一位。插入一个元素时，所有的k位都加1，删除时都减1，查找时如果k个值都大于0则判定为存在。CBF中有个很重要的参数，即每一位的位数为多少。可以通过理论证明，位数一般取4就足够了，可以支持同一个数据插入16次。
bitmap可以看做bloom filtering的特例
2. Hash表技术
d-left hash hash表负载均衡技术。将hash表分成d段，设计d个hash函数，更具负载选择一个合适的段存放数据。查找时要计算d个hash值，分别在d段中找。
常用于统计次数。
3. 堆技术
堆有两个典型的应用：
多路归并排序
求TopK
多路归并排序时，降序排序时用最大堆，升序排序用最小堆。
TopK时，求TopK最大时，用最小堆，求TopK最小时用最大堆。求topK最大时，利用最小堆堆维护K个值，当新扫描的值大于堆顶元素时，堆顶元素删除，插入新的值。这样扫描完一遍数据，既可以求得topK最大。
4. 双层桶（多层桶）设计
hash表技术是一种direct addr 技术，但是当数据范围分布过广、且数据量非常大的时候，采用hash表直接direct addr技术就不行了，这是可以使用多层hash技术。将原始数据范围分成小段，每一段内存可以装载，段内可以使用direct addr table技术。可以用多层分级快速定位到小段。