![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 87
大数据
今天不熬夜L
这个作者很懒,什么都没留下…
展开
-
Hbase简介
HBase简介 HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库,是谷歌BigTable的开源实现,主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表,可以通过水平扩展的方式,利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。 为什么要用HBase Hadoop可以很好地解决大规模数据地离线批量处理问题,但是,受限于Hadoop MapReduce编程框架地高延迟数据处理机制,使得Hadoop无法满足大规模数据实时处理应用的需求 HDFS面向批量访问原创 2020-10-23 20:00:21 · 429 阅读 · 0 评论 -
分布式文件系统HDFS
1.分布式文件系统 1.1计算机集群结构 分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群 与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是,目前的分布式文件系统所采用的计算机集群,都是由普通硬件构成的,这就大大降低了硬件上的开销 2.2 分布式文件系统的结构 分布式文件系统在物理结构上是由计算机集群中的多个节点构成的,这些节点分为两类,一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode),另一类叫“从节点”(Slave N原创 2020-10-23 16:06:11 · 959 阅读 · 0 评论 -
大数据处理架构Hadoop
大数据处理架构Hadoop 1.概述 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式基础架构 Hadoop是基于Java语言开发的,具有很好的跨平台特性,并且可以部署在廉价的计算机集群中 Hadoop的核心是分布式文件系统HDFS(Hadoop Distributed File System)和MapReduce Hadoop被公认为行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力 几乎所有主流厂商都围绕Had原创 2020-10-20 20:02:41 · 885 阅读 · 2 评论 -
大数据概述
大数据概述 1.大数据时代 1.1三次信息化浪潮 信息化浪潮 发生时间 第一次浪潮(个人计算机) 1980年前后 第二次浪潮(互联网) 1995年前后 第三次浪潮(互联网、云计算和大数据) 2010年前后 1.2信息科技为大数据时代提供技术支撑 存储设备容量不断增加 CPU处理能力大幅提升 网络带宽不断增加 1.3数据产生方式的变革促成大数据时代的来临 运营式系统阶段(数据库的出现使得数据管理的复杂度大大降低) 用户原创内容阶段 感知式系统阶段 2.大数据概念 数据量大原创 2020-10-20 17:44:17 · 478 阅读 · 0 评论