大数据技术基础了解

大数据技术支撑：存储，计算，网络

大数据两大核心技术：分布式存储（集群存储）和分布式处理

大数据的典型计算模式

1.批处理计算

mapreduce是批处理计算模式的典型代表

2.流计算

实时处理以及实时响应，S4+storm+flume为代表产品

3.图计算

4.查询分析计算

hive是查询分析计算典型代表

云计算：通过网络以服务的方式为用户提供廉价的IT资源

三种云服务

1.IaaS，基础设施即服务

2.PaaS，平台即服务

3.SaaS，软件即服务

物联网的关键技术：识别技术（条形码，二维码）和感知技术（RFID公交卡）

大数据、云计算、物联网三者关系密不可分。

Hadoop支持多种编程环境

Hadoop两大核心：HDFS和MapReduce

HDFS采用集群分布式存储完成海量数据的存储，MapReduce采用集群分布式处理完成海量数据的处理

应用

facebook采用Hadoop集群用于日志处理，推荐系统和数据仓库等方面。

主要用于数据分析（hive，MapReduce），数据实时查询（Hbase），和数据挖掘（mahout）

版本

Hadoop2.0新增YARN框架用于资源调度