为什么这么快 程序员的你必看

大数据技术为什么这么快

传统数据与大数据处理方式对比

扩展性
传统数据：
纵向扩展
表示在需要处理更多负载时通过提高单个系统处理能力的方法来解决问题。最简单的情况就是为应用系统提供更为强大的硬件。例如如果数据库所在的服务器实例只有2G内存、低配CPU、小容量硬盘，进而导致了数据库不能高效地运行，那么我们就可以通过将该服务器的内存扩展至8G、更换大容量硬盘或者更换高性能服务器来解决这个问题
纵向扩展相当于一台服务器在数据量需求更大的时候不断的在增加配置来解决空间不足的问题

大数据
横向扩展
是将服务分割为众多的子服务并在负载平衡等技术的帮助下在应用中添加新的服务实例例如如果数据库所在的服务器实例只有一台服务器，进而导致了数据库不能高效地运行，那么我们就可以通过增加服务器数量，将其构成一个集群来解决这个问题。
横向扩展相当于在同样数据量大本来的服务器不能满足需求的情况下（在配置相同的情况下）增加服务器的数量将其构建一个集群

分布式
传统数据：
资源集中（cpu/内存/硬盘）
集中式计算：数据计算几乎完全依赖于一台中、大型的中心计算机的处理能力。和它相连的终端(用户设备)具有各不相同的智能程度。实际上大多数终端完全不具有处理能力，仅仅作为一台输入输出设备使用。集中式存储：指建立一个庞大的数据库，把各种信息存入其中，各种功能模块围绕信息库的周围并对信息库进行录入、修改、查询、删除等操作的组织方式。
将所有数据信息放到一台服务器上面缺点：是数据容易丢失，好处：是占用空间相对大数据小

大数据
资源分布（cpu/内存/硬盘）
分布式计算：是一种计算方法，是将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。分布式存储：是一种数据存储技术，通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落，多台服务器。
资源分布是在同等配置的前提下将数据截开放在不同的硬盘里防止数据的丢失
缺点：是占用空间大，优点：是数据不易丢失

可用性
传统数据
单份数据
传统数据备份方式单份备份

大数据
数据复制
大数据数据备份方式多分备份（数据复制，默认三个副本）

模型
传统数据
移动数据
简单的说是将服务器储存的数据用局域网与计算机连接将数据移动到程序端

大数据
移动计算程序

大数据计算模型是移动程序到数据端
io 和网络的使用率都非常低，且多节点存储，多节点计算（众人拾柴火焰高）