大数据的定义特征:
多样的数据类型,快速的数据流转,海量的数据规模,以及数据的价值。
大数据设计的技术:
数据采集,数据处理,数据存储,可视化。
hadoop学习:
hdfs(分布式文件存储),yarn(作业调度框架),mapreduce(分布式计算)。
yarn:可扩展,容错性,多框架资源统一调度
hdfs:可扩展,容错性,海量数据存储
mapreduce:可扩展,容错性,海量数据离线处理
mapreduce处理wordCount示意图:
大数据的定义特征:
多样的数据类型,快速的数据流转,海量的数据规模,以及数据的价值。
大数据设计的技术:
数据采集,数据处理,数据存储,可视化。
hadoop学习:
hdfs(分布式文件存储),yarn(作业调度框架),mapreduce(分布式计算)。
yarn:可扩展,容错性,多框架资源统一调度
hdfs:可扩展,容错性,海量数据存储
mapreduce:可扩展,容错性,海量数据离线处理
mapreduce处理wordCount示意图: