- 博客(16)
- 收藏
- 关注
RSS订阅转载 ZooKeeper 原理与源码浅析
ZooKeeper 原理与源码浅析](https://baijiahao.baidu.com/s?id=1674002533455081984&wfr=spider&for=pc)
2021-07-31 15:20:19
120
转载 ZOOKEEPER系统设计的优点
ZOOKEEPER系统设计的优点发布时间：2015 年 11 月 15 日/作者：chaozh/Zookeeper系统应用越来越广泛，在同一领域内开源软件方面基本处于垄断地位。（最近有个etcd借了微服务的东风而异军突起）但是实际用过的人都会觉得这个软件属于可用但又不那么好用的类型。本文是本人结合自己的实际使用经验与思考，同时参考真正业界大牛对这个系统的分析与评价进行的总结，归纳一下关于Zookeeper真正的使用需求，并思考这个系统有哪些设计与实现上的优点，从而能获得如此成功。文章目录 [隐藏]1
2021-07-31 15:18:02
439
转载 深入HDFS原理
阅读目录HDFS的特点HDFS体系架构NameNodeDataNode客户端上传文件NameNode如何选择DataNode客户端下载文件NameNode与Secondary NameNodeSecondary NameNode的工作NameNode高可用（High Availability，HA）NameNode联盟（联邦HDFS）namenode的安全模式本文主要详述了HDFS的组成结构，客户端上传下载的过程，以及HDFS的高可用和联邦HDFS等内容。若有不当之处还请留言指出。
2021-07-31 15:15:18
178
原创 HDFS两种操作方式：命令行和Java API
HDFS 文件操作有两种方式：一种是命令行方式，Hadoop 提供了一套与 Linux 文件命令类似的命令行工具；另一种是 Java API，即利用 Hadoop 的 Java 库，采用编程的方式操作 HDFS 的文件。本节将介绍 Linux 操作系统中关于 HDFS 文件操作的常用命令行，并将介绍利用 Hadoop 提供的 Java API 进行基本的文件操作，以及利用 Web 界面查看和管理 HDFS 的方法。HDFS 常用命令在 Linux 命令行终端，可以使用命令行工具对 HDFS 进行操作。
2021-07-31 15:11:35
800
原创 HDFS读取和写入数据简介
HDFS 的文件访问机制为流式访问机制，即通过 API 打开文件的某个数据块之后，可以顺序读取或者写入某个文件。由于 HDFS 中存在多个角色，且对应的应用场景主要为一次写入、多次读取的场景，因此其读和写的方式有较大不同。读/写操作都由客户端发起，并且由客户端进行整个流程的控制，NameNode 和 DataNode 都是被动式响应。读取流程客户端发起读取请求时，首先与 NameNode 进行连接。连接建立完成后，客户端会请求读取某个文件的某一个数据块。NameNode 在内存中进行检索，查看是否有对
2021-07-31 15:10:29
728
转载 HDFS架构和实现机制简介
本节将对 HDFS 的整体架构和基本实现机制进行简单介绍。HDFS 整体架构HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode，这是一个 Master Server，用来管理文件系统的命名空间，以及调节客户端对文件的访问。一个 HDFS 集群还包括多个 DataNode，用来存储数据。HDFS 的整体结构如图 1 所示。HDFS整体架构图 1 HDFS整体架构HDFS 会对外暴露一个文件系统命名空间，并允许用户数据以文件的形式进行存储。在内部，一
2021-07-31 15:08:42
162
转载 Hadoop基础--HDFS基本原理
Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。 Hadoop 最核心的模块包括Hadoop Common、HDFS与MapReduce。 HDFS是Hadoop分布式文件系统（Hadoop Distribut...
2021-07-31 15:01:51
710
转载 Hadoop原理之——HDFS原理
Hadoop 3个核心组件：分布式文件系统：Hdfs——实现将文件分布式存储在很多的服务器上（hdfs是一个基于Linux本地文件系统上的文件系统）分布式运算编程框架：Mapreduce——实现在很多机器上分布式并行运算分布式资源调度平台：Yarn——帮用户调度大量的mapreduce程序，并合理分配运算资源 HDFS的设计特点是：1、大数据文件，非常适合上T级别的大文件或者一堆大数据文件的存储，如果文件只有几个G甚至更小就没啥意思了。2、文件分块存储，H..
2021-07-31 14:58:36
3111
1
翻译 HDFS是什么？
HDFS是什么？ 易于扩展的分布式文件系统运行在大量普通廉价机器上提供容错机制为大量用户提供性能不错的存取服务 设计目标： 自动快速检测应对硬件错误流式访问数据,以流的方式访问数据，设计用于数据的批量处理 缺点：不适合存储大量小文件；不适合低延迟的数据访问；不支持多用户写入及任...
2021-07-30 16:04:59
1056
转载 Hadoop入门(四)——模板虚拟机环境准备（图文详解步骤2021）
Hadoop入门(四)——模板虚拟机环境准备（图文详解步骤2021） 系列文章传送门 这个系列文章传送门: Hadoop入门(一)——CentOS7下载+VM上安装（手动分区）图文步骤详解(2021) Hadoop入门(二)——VMware虚拟网络设置+Windows10的IP地...
2021-07-30 13:22:18
251
转载 Hadoop入门(三)——XSHELL7远程访问工具+XFTP7文件传输（图文步骤详解2021）
Hadoop入门(三)——XSHELL7远程访问工具+XFTP7文件传输（图文步骤详解2021） 系列文章传送门 这个系列文章传送门: Hadoop入门(一)——CentOS7下载+VM上安装（手动分区）图文步骤详解(2021) Hadoop入门(二)——VMware虚拟网络设置...
2021-07-30 13:20:32
606
转载 Hadoop入门(二)——VMware虚拟网络设置+Windows10的IP地址配置+CentOS7静态IP设置（图文详解步骤2021）
Hadoop入门(二)——VMware虚拟网络设置+Windows10的IP地址配置+CentOS7静态IP设置（图文详解步骤2021） 之前在上一篇文章中讲述了 CentOS7下载+VM上安装（手动分区） 没看过的可以回去补补课，接下来我来讲述 VMware虚拟网络设置+Wind...
2021-07-29 11:22:48
381
转载 Hadoop入门(一)——CentOS7下载+VM上安装（手动分区）图文步骤详解(2021)
Hadoop入门(一)——CentOS7下载+VM上安装（手动分区）图文步骤详解(2021)转 写在前面的话，博主刚入大数据的坑，开始在配置环境上走过无数的坑，有些博文上的步骤方法要么就是版本太旧了，要么没有说清楚原理，要么就是可能会行不通，或着自动配置的，不过博主查过许多资...
2021-07-28 16:53:55
564
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人