.NET 大型数据处理思路？

一个系统的架构

      |<————— < string/bit >—————>( 1 )   [ Internet TCP ]

      |

[ Server ]<——————— ————   ( 2 )   [ Web Read ]

     ↑

     |—————————————>     ( 3 )  [ DB ]

 1：硬件设备通过GPRS方式与服务器建立连接；

 2：通过浏览器访问；

 3：服务器访问数据库；

 4：服务器，多线程，要做的事件是，接收TCP硬件传输的文本值，解析指令，存储相应数据；接受Web访问，给予数据库存储的数据及指令传达。

  当数据达到每秒要处理千条以上，并发数很强的情况，可能导自数据库锁死，插入不成功等影响，是否可以采用BULK形式。好处是可以不用当心锁死，并发等。

    将Server分为二个软件：

第一步，做一个核心处理软件。将TCP数据值存入List<string>里，写一个线程定时器，每多少秒后将List<string>写入XML或TXT文件。

第二步，处理BULK软件，每隔多少秒执行一次指定文件夹内写好的文件，执行BULK INSERT 导入。

这样系统架构就成这样：

 

      |<— — — — — < string/bit > — — — — —>   [ Internet TCP ]

      |

[ Server ]< — — — <   指     令 > ——————>   [ Web Read ]

      |                                                                                                 |

     ↓                                                                                                 |

    [  指定文件夹  ]  ——< Read >—> [ BULK ]                         |

                                                 |                                                     ↓

                                                 |———< write >————>     [ DB ]

 

以上个人新手思路，欢迎讨论