![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
文章平均质量分 94
大数据相关理论知识,帮助你了解大数据领域的相关技术,例如:Hadoop、MapReduce、HDFS等等
编程小吉
莫问前程几许,只顾风雨兼程,既然选择了,那就努力做下去,加油 !
展开
-
大数据技术之MapReduce
MapReduce1.什么是MapReduce?2.体系结构3.工作流程4.实例分析5.具体应用6.编程实践1.什么是MapReduce?基本概述MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数:Map和ReduceMapReduce编程容易,不需要掌握分布式并行编程细节,也可以很容易把自己的程序运行在分布式系统上,完成海量数据的计算MapReduce采用“分而治之”策略,一个存储在分布式文件系统中的大规模数据集,会被切分成许多独立的分片(split),这些原创 2021-05-05 22:16:38 · 1879 阅读 · 0 评论 -
大数据技术之云数据库
云数据库1.什么是云数据库?2.云数据库产品3.云数据库架构4.亚马逊云与数据库5.微软云与数据库6.阿里云与数据库1.什么是云数据库?基础概述云计算是云数据库兴起的基础云数据库是部署和虚拟化在云计算环境中的数据库云数据库是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法,它极大地增强了数据库的存储能力,消除了人员、硬件、软件的重复配置,让软、硬件升级变得更加容易云数据库具有高可扩展性、高可用性、采用多租形式和支持资源有效分发等特点云数据库是个性化数据存储需求的理想选择原创 2021-05-05 22:11:32 · 5394 阅读 · 8 评论 -
大数据技术之NoSQL
NoSQL基础1.NoSQL的兴起缘由2.NoSQL的基础特性3.NoSQL数据库与关系型数据库对比4.NoSQL的四大类型5.NoSQL的三大基石6.NoSQL数据库演变7.几个常见数据库的对比1.NoSQL的兴起缘由关系数据库已经无法满足Web2.0的需求无法满足海量数据的管理需求无法满足数据高并发的需求无法满足高可扩展性和高可用性的需求关系数据库已经无法满足Web2.0的特性Web2.0网站系统通常不要求严格的数据库事务Web2.0并不要求严格的读写实时性Web2.0通常不原创 2021-04-17 15:15:04 · 1866 阅读 · 0 评论 -
大数据技术之HBase
HBase基础1.Hbase的基本概述2.HBase的访问接口3.HBase的数据模型4.HBase的实现原理5.HBase的运行机制6.HBase的应用方案7.HBase的安装使用1.Hbase的基本概述什么是BigTableBigTable 是一个分布式存储系统,它利用谷歌提出的MapReduce分布式并行计算模型来处理海量数据,使用谷歌分布式文件系统GFS作为底层数据存储,采用Chubby提供协同服务管理,可以扩展到PB级别的数据和上千台机器,具备广泛应用性、可扩展性、高性能和高可用性等特原创 2021-04-17 15:07:16 · 2129 阅读 · 0 评论 -
Hadoop技术之HDFS
HDFS基础1.HDFS的相关概述2.HDFS的相关概念3.HDFS的体系结构4.HDFS的存储原理5.HDFS的数据读写6.HDFS 常用的Shell命令操作7.HDFS 常用的Java API操作1.HDFS的相关概述分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群。分布式文件系统在物理结构上是由计算机集群中的多个节点构成的,这些节点分为两类:“主节点”(Master Node)或者也被称为“名称结点”(NameNode)“从节点”(Slave No原创 2021-04-17 14:58:25 · 1457 阅读 · 4 评论 -
大数据技术之Hadoop
Hadoop基础1.Hadoop的基本概述2.Hadoop的项目结构3.Hadoop的安装使用4.Hadoop的集群部署1.Hadoop的基本概述hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式基础架构Hadoop是基于Java语言开发的,具有很好的跨平台特性,并且可以部署在廉价的计算机集群中Hadoop的核心是分布式文件系统HDFS(Hadoop Distributed File System)和MapReduceHa原创 2021-04-17 14:01:05 · 1337 阅读 · 0 评论 -
大数据基础概述
大数据基础概述1.前言2.大数据技术发展的三个阶段3.大数据技术面临的问题4.大数据技术数据的特点5.大数据对各方面的影响6.大数据技术的应用领域7.大数据技术的相关概念8.大数据技术的相关产业9.云计算和物联网1.前言三次信息浪潮信息化浪潮发生时间标志解决问题代表企业第一次浪潮1980年前后个人计算机信息处理Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等第二次浪潮1995年前后互联网信息传输雅虎、谷歌、阿里巴巴、百度、腾讯等第三次原创 2021-04-17 13:55:49 · 1914 阅读 · 0 评论