![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
程序猿阿三
Good ideal worth spreading
展开
-
MapReduce 之一:MapReduce体系结构
MapReduce是一种分布式并行编程。分布式程序运行在大规模计算机集群上,可以并行执行大规模数据任务,从而获得海量的计算能力。MapReduce相对传统的并行计算框架 传统并行计算框架 MapReduce 集群架构容错性 共享式(共享内存/g共享存储).容错性差 硬件/价格/扩展性 刀片服务器、高速网、SAN、价格贵、扩展性差 编程/学习难度 难 适用场景 实原创 2016-06-25 14:11:03 · 4317 阅读 · 0 评论 -
hadoop之Hbase简介
HBASE的发展从bigtable讲起bigtable 是一个分布式存储系统利用mapreduce分布式并行计算模型处理海量数据使用分布式文系统GFS作为底层数据存储采用Chubby提供协同服务管理扩展到PB级别的数据和上千台机器,具有广泛应用性, 可扩展性,高性能和高应用的特点很多项目都存储在BigTable中,包括搜索、财经、地图、社交网络Orkut、视频共享网站YouTube。HB原创 2016-06-26 10:18:11 · 1031 阅读 · 0 评论 -
分布式文件系统HDFS 之一
分布式文件系统在物理结构上是由计算机集群中的多个节点构成的。HDFS实现的目标兼容廉价的硬件设备流数据读写大数据集简单的文件模型强大的跨平台兼容性HDFS自身的局限性不适合低延时数据访问无法高效存储大量的小文件不支持多用户写入及任意修改文件(只允许追加,不允许修改) HDFS默认一个块64MB,一个文件被分成多个块,以块作为存储单位,块的大小远远大于普通文件系统,可以最小化寻址开原创 2016-06-16 22:52:36 · 3361 阅读 · 0 评论 -
Hbase实战一:安装配置
HBase 的安装和配置前面的博客大数据处理架构Hadoop配置已经详细介绍如何安装Hadoop,但是安装完Hadoop,只包含HDFS和MapReduce等核心组件,并不包含HBase,因此,HBase需要独立安装。HBase下载地址 友情提示:前面的博客大数据处理架构Hadoop配置 Hadoop安装配置有三种方式:单机、伪分布、分布式,相对应的Hbase也有三种安装方式。如果是单机直接将二原创 2016-06-21 16:44:11 · 986 阅读 · 0 评论 -
大数据处理架构Hadoop配置
title: 大数据处理架构Hadoop date: 2016-06-02 tags: HardoopHadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式基础架构Hadoop是基于Java语言开发的,具有很好的跨平台特性,并且可以部署在廉价的计算机集群中(但是具体在应用层不一定只用java)Hadoop的核心是分布式文件系统原创 2016-06-18 23:28:30 · 3660 阅读 · 0 评论 -
Hbase实战二:编程实战
在安装后HbaseHbase实战一:安装配置,大家快乐的编程实践把1.利用Shell编程在HBase用create命令创建表 create 'student','Sname','Ssex','Sage','Sdept','course' 此时,即创建了一个“student”表,属性有:Sname,Ssex,Sage,Sdept,course。因为HBase的表中会有一个系统默认的属性作为主键,主原创 2016-06-22 21:45:51 · 739 阅读 · 0 评论