随笔：大数据技术相关组件，概念，导图

随笔
1、分布式文件/对象存储系统

目前业界比较流行的分布式存储系统如下：HDFS、OpenStack Swift、Ceph、GlusterFS、Lustre、AFS、OSS。

2、分布式关系型数据库

目前业界比较流行的分布式关系型数据库如下：DRDS、TiDB、GreenPlum、Cobar、Aurora、Mycat。

3、分析型数据库

目前业界比较流行的分析型数据库如下：Kylin、AnalyticDB、Druid、Clickhouse、Vertica、MonetDB、InfiniDB、LucidDB。

4、搜索引擎

目前常见的搜索引擎技术如下：Elasticsearch、Solr、OpenSearch。

5、图数据库

目前业界比较流行的图数据库如下：Titan、Neo4J、ArangoDB、OrientDB、MapGraph、ALLEGROGRAPH。

6、列存储数据库

目前业界比较流行的列存储数据库如下：Phoenix、Cassandra、Hbase、Kudu、Hypertable。

7、文档数据库

目前业界比较流行的文档型数据库如下：MongoDb、CouchDB、OrientDB、MarkLogic。

8、键值存储数据库

目前业界比较流行的键值存储数据库如下：Redis、Memcached、Tair。

数据计算
大数据计算主要完成海量数据并行处理、分析挖掘等面向业务需求。大数据计算通过将海量的数据分片，多个计算节点并行化执行，实现高性能、高可靠的数据处理，同时提供分布式任务管理和调度的支撑。

数据仓库
随着数据库技术和管理系统的不断发展和普及，人们已不再满足于一般的业务处理。同时随着数据量的不断增大，如何能够更好地利用数据，将数据转化成商业价值，已经成为人们越来越关心的问题。

数据挖掘
分析挖掘是通过算法从大数据红提炼出具有价值的信息和知识的过程。以机器和算法为主导，充分发挥机器在数据分析挖掘中的效率和可靠性的优势，提供对结构化数据以及文本、图像、视频和语言等非结构数据分析挖掘。数据分析挖掘包括一些通用的数据挖掘方法，也包括深度学习，机器学习，统计分析等。

数据测试

数据服务

数据可视化
人类的眼睛是一对高带宽巨量视觉信号输入的并行处理器，拥有超强模式识别能力，配合超过 50% 功能用于视觉感知相关处理的大脑，使得人类通过视觉获取数据比任何其他形式的获取方式更好，大量视觉信息在潜意识阶段就被处理完成，人类对图像的处理速度比文本快 6 万倍。

数据共享

数据预警

应用部署

数据治理
如何将海量数据应用于决策、营销和产品创新？如何利用大数据平台优化产品、流程和服务？如何利用大数据更科学地制定公共政策、实现社会治理？
可以说，在大数据战略从顶层设计到底层实现的“落地”过程中，治理是基础，技术是承载，分析是手段，应用是目的。这个时候数据治理体系建设可能不是一个选择，而是唯一的出路

元数据管理
元数据 MetaData 狭义的解释是用来描述数据的数据，广义的来看，除了业务逻辑直接读写处理的那些业务数据，所有其它用来维持整个系统运转所需的信息／数据都可以叫作元数据。比如数据表格的 Schema 信息，任务的血缘关系，用户和脚本／任务的权限映射关系信息等等。
管理这些附加 MetaData 信息的目的，一方面是为了让用户能够更高效的挖掘和使用数据，另一方面是为了让平台管理人员能更加有效的做好系统的维护管理工作。

数据质量

数据安全
没有安全做保障，一切大数据应用都是空谈。数据业务未来最大的挑战就是如何安全落地。特别是随着一些列数据安全的问题发生，对大数据的保护成为全球关注的热点。各个企业特别是掌握了海量用户信息的大型企业，有责任也有义务去保护数据的安全。