Richardlygo的博客

Hive： Hive不支持更改数据的操作，Hive基于数据仓库，提供静态数据的动态查询。其使用类SQL语言，底层经过编译转为MapReduce程序，在Hadoop上运行，数据存储在HDFS上。 HDFS: HDFS是GFS的一种实现，他的完整名字是分布式文件系统，类似于FAT32，NTFS，是一种文件格式，是底层的。 Hive与Hbase的数据一般都存储在HDFS上。Hadoop HDFS...

一、Hadoop简介： 1.大数据略知一二： 1）大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，需要在合理的时间内达到提取、管理、处理、并且整理成为帮助企业运营决策更积极目的的信息； 2）在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代...

一、Hbase数据库概述； 概述：Hbase是一个基于HDFS的面向列的分布式数据库，源于Google的BigTable基于GFS进行分布式数据存储一样，前文提到，Hbase 是基于流式数据访问，对于第时间延迟的数据访问并不适合在 HDFS 上运行，所以需要实时性的随机访问超大规模的数据集，使用Hbase则是更好的选择； 作用：Hbase 作为典型的非关系型数据...

一、Hive的概述； 背景：Hive起源于Facebook（一个美国的社交服务网络）。Facebook有着大量的数据，而Hadoop是一个开源的MapReduce实现，可以轻松处理大量的数据。但是MapReduce程序对于Java程序员来说比较容易写，但是对于其他语言使用者来说不太方便。此时Facebook最早地开始研发Hive，它让对Hadoop使用SQL查询（实际上SQL后台转化为了MapR...

一、分布式协调技术概述： 概述：在介绍ZooKeeper之前先介绍一种技术——分布式协调技术。那么什么是分布式协调技术？那么我来告诉大家，其实分布式协调技术主要用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种临界资源； 图中有三台机器，每台机器各跑一个应用程序。然后将这三台机器通过网络将其连接起来，构成一个系统来为用户提供服务，对用户来说这个系统的架构是非透明的，他感觉不到...