大数据技术之Hadoop介绍

1.大数据概述

大数据是指无法利用传统计算技术进行处理的大规模数据集合。大数据概念不再只是数据，大数据已经成为一个全面的主题概念，包含各类工具、技术以及框架。

大数据包括各类信息设备以及应用程序所产生的数据。大数据所涵盖的一些数据领域如下：

 

• 黑盒子数据：是指直升机、普通飞机及喷气式飞机等的组成部分。该数据采集了飞行机组人员的声音、麦克风和耳机的录音以及飞机的性能信息。

• 社交媒体数据：社交媒体诸如Facebook和Twitter，拥有人们发布的信息和观点。

• 证券交易数据：证券交易数据包括不同公司客户做出的“买入”和“卖出”决策信息。

• 电网数据：电网数据是指一个特定节点相对于基站的耗电信息。

• 搜索引擎数据：搜索引擎从不同数据库中抽取的大规模数据。

 

因此，大数据包括巨大规模、超高速度、类型可扩展的数据。大数据包括三种类型的数据：

 

• 结构化数据：关系型数据。

• 半结构化数据：XML数据。

• 非结构化数据：Word文档、PDF文档、文本、媒体日志。

 

2.大数据技术

 

大数据技术对于提供更精确分析是非常重要的。更精确地分析将会导致更具体地决策，从而大大提高工作效率、降低成本，减少业务风险。

 

要充分利用大数据，就需要一个基础架构，能够实时管理和处理大规模结构化、非结构化数据，并能够保障数据隐私和安全。

 </