![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
xxx_undefined
这个作者很懒,什么都没留下…
展开
-
追随大数据Hadoop的脚步-4-HDFS原理与应用
五、HDFS 5.1 HDFS概述 5.1.1 介绍 在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。 HDFS(Hadoop Distributed File System)是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统.原创 2020-12-10 22:33:42 · 335 阅读 · 0 评论 -
追随大数据Hadoop的脚步-3-Hadoop的介绍与环境搭建
四、Hadoop 4.1 Hadoop介绍 4.1.1 起源 Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎, 包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题。 Google提出了两种解决方案: 分布式文件系统(GFS),可用于处理海量网页的存储 分布式计算框架MapReduce,可用于处理海量网页的索引计算问题 => Nutch的开发人员完成了相应的HDFS和MapReduce,并从Nutch中剥离成为独立的项目Ha原创 2020-12-09 22:14:09 · 1848 阅读 · 7 评论 -
追随大数据Hadoop的脚步-1-入门与背景(含视频资料与代码)
title: 大数据Hadoop-1 tags: hadoop categories: technical hadoop toc: true declare: true date: 2020-11-06 13:35:43 一、大数据基本背景 1.1 大数据架构: 1.2 企业数据部门的大数据工作流程: 构建环境背景知识:服务器、磁盘、交换机、局域网、机架 IDC(Internet Data Center)互联网数据中心 磁盘阵列Radi廉价冗余磁盘阵列:将小容量磁盘整合为大磁盘充分利.原创 2020-11-23 16:06:43 · 297 阅读 · 0 评论 -
追随大数据Hadoop的脚步-2-Zookeeper
三、 Zookeeper 3.1 概述 Zookeeper 是一个开源的分布式协调服务框架 ,主要用来解决分布式集群中应用系统的一致性问题和数据管理问题 在单机模式中,可以通过锁机制带实现对于共享资源的访问协调 但是在网络集群的多机模式下,每个主机都要通过网络去访问共享资源,这样实现的叫做分布式锁,具体的核心工作就是由Zookeeper来管理 对于网络中的多个冗余存储的共享资源,Zookeeper在于解决多机读写的数据同步性问题 举例来说:两个共享资源其中一个被写时,那么他的冗余备份不应当被其他主机读取原创 2020-11-28 12:38:57 · 349 阅读 · 0 评论