关于大数据处理 多并发 存储 查找

很大的数据处理:

    分治法:进行小规模处理然后整合同步   这个无论是在数据拆分  分布式管理上都有应用  分布式有一个重要的技术就是:mapreduce  （hadoop有用这个技术，mapreduce是谷歌改良后的一个技术）

Map是分离，后进行函数处理    reduce是两两合并进行归一后得到最终结构   这样子的分离让后合并主要是为了并行的方便，方便利用分布式  提高数据处理速度，类型，灵活性扩展性，容错性，安全，同步性。

多并发：

     分布式：把并发分组在不同机器，模块上进行处理（连接，回复），然后协调，同步

             利用缓冲技术：可以是服务器缓冲（数据库缓冲）  本地缓冲

             1）同个链接可能会多次访问的共享数据进行缓存（局部性原理），这个想法参考了操作系统页面置换的思想

              P2P与c/S相结合减少服务器的负担

   多数据查找：

             用到数据结构方法来优化查找：如 哈夫曼树  哈希函数存储 查找树的：B+,B-数（利用查找树和静态序列查找结合利用在虚拟内存技术上有体现这个外存和内存的数据查找和装入上），平衡树

             配合缓冲技术：如最近访问原则等缓冲技术