大数据相关学习笔记
hadoop整体定位:是一个用来存储计算海量数据的框架,核心是HDFS+MapReduceHDFS:分布式文件系统。引入了存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode,对数据进行分布式储存和读取一个形象的比喻:一个分布式的,有冗余备份的,可以动态扩展的用来存储大规模数据的大硬盘MapReduce: 计算框架。核心思想是把大任务分成小任务给集群内的服务器执行。其中用Map+Reduce这俩过程对任务进行拆分一个计算引擎,按照MapReduce的规




