大数据开发：大数据与数据库技术发展变化

在大数据处理当中，数据库无疑是提供关键性支持的技术之一，面对不断新增的海量数据，更加需要数据库提供稳定的底层支持，才能支持数据处理其他环节的工作。今天我们来做一个简单的大数据与数据库技术介绍。

谈到大数据，可能很多人首先想到的就是Hadoop，不得不承认，Hadoop在大数据处理的诸多技术框架当中，占据着非常重要的地位，堪称大数据技术领域的“老大哥”。而数据库技术，似乎不常被提起，但是同样不该被忽视。
 

在传统概念中，传统关系型数据库主要应用在OLTP等以交易为核心的业务，通常是关键交易型业务而非大数据这种分析型业务。

如今，关系型数据库可以保存任何类型的数据，能够支持关系型数据SQL查询，也能够提供针对Hadoop、对象存储的NoSQL查询能力，还可以访问JSON格式的数据。

这不就是一个大数据分析的解决方案吗？

数据库领域的大牛Michael Stonebraker说过：传统数据库架构是30年前，以OLTP应用为主设计的。如今，大数据属于OLAP，应采用新技术架构。

新技术思路是应该由“一种架构支持所有应用”转变成“多种架构支持多类应用”。

大数据的特点，其中很重要一点就是它的价值密度比较低，需要的存储容量会比较大，有时会达到PB级。如此一来，传统关系型数据库，数据进不去、查不出、存不下和扩容难等问题就暴露无遗。

于是，新型数据库应需而生。

新型数据库在架构设计上，硬件中磁盘、交换机、网卡等均采用高可用设计；软件上则采用全组件高可靠架构，协调节点多活，数据节点独创主+备+切换三重数据保护，GTM（Global Transaction Management）等进程采用主备方案。可以确保集群中任意一个节点故障业务不中断。

支持通过SQL访问HDFS上的数据，支持全文检索，从而为数据业务创新，提供简单易用的技术途径和手段。

总的来说，大数据和数据库技术其实联系紧密，在大数据当中也同样需要掌握响应的数据库技术。