Hadoop开发
文章平均质量分 95
HaigLee
这个作者很懒,什么都没留下…
展开
-
Hadoop-HDFS
一、Hadoop概述 Hadoop是Google的集群系统的开源实现。Google的集群系统:GFS、MapReduce、BigTableHadoop的集群系统:HDFS、MapReduce、HBase Hadoop的设计初衷是为了解决Nutch海量数据存储和处理需求,可以解决大数据场景下的海量数据的存储和处理问题。传统数据和大数据的区别: ①.传统数据GB、TB级别的数据数原创 2016-10-18 20:40:01 · 1585 阅读 · 0 评论 -
Hadoop-Hive简介
一、前言1.特别的计算模型:MapReduce其可以将任务分割成多个处理单元,然后分散到一群家用或者服务器级别的硬件机器上,从而降低成本,并提供水平可伸缩性。这个计算模型下面组件被称为Hadoop分散式文件系统(HDFS)这个系统是可拔插的2.Hive出现的原因用户希望从现有的数据库基础框架转移到Hadoop上而这个框架是基于传统关系型数据库和接口查询语句(SQL)的,为了解决这个问题,原创 2016-10-19 16:24:16 · 1546 阅读 · 1 评论