火晟君-CSDN博客

原创 Linux_01_VMware、CentOS安装与配置

Linux_01_VMware、CentOS安装与配置持续更新大数据文章…这篇文章将带你手把手安装配置 VMware、CentOS所有资源全部共享！！！资源获取：链接：https://pan.baidu.com/s/13xCugw95cxuUadcdh1fcpQ提取码：tejo1. VMware安装1.1 安装和安装QQ一样，无脑下一步，注意安装到 D盘1.2 配置2. CentOS 安装2.1 安装1、点击新建虚拟机2、选择自定义安装3、选择虚拟机硬件兼容性4、稍后安

2021-12-13 09:17:25 153 4

原创 HDFS_09_HDFS写入数据流程

HDFS_09_HDFS写入数据流程持续更新大数据文章…11. HDFS写入数据流程 ⭐️HDFS写入数据流程是指：用户存储数据到 HDFS 上11.1 宏观流程客户端有一个文件：名称为：user.log大小为：258MB现在需要把文件 user.log 上传到 HDFS具体宏观步骤是：发送上传文件请求给 HDFS （上传命令：hdfs dfs -put user.log /huoborn），HDFS 接收到客户端的请求，并且判断上传命令的准确性。RPC 远程调用 Nam

2021-12-11 18:04:20 1665 8

原创 HDFS_08_机架感知策略

HDFS_08_机架感知策略持续更新大数据文章…1. 机架感知策略1.1 什么是机架感知策略？机架感知策略就是：数据块以及数据块副本存放在哪个 DN 上才能让集群更加安全、数据更不容易损坏的一种策略。举个例子：如果没有机架感知策略，一个文件的数据块以及该数据块的副本可能会存储在同一个DN上，这显然是不安全的。因为有了机架感知策略的存在，一个文件的数据块以及该数据块的副本就不会存储在同一个DN上，从而保证数据的安全性1.2 机架感知如何工作？第一个节点集群内部（优先考虑和客户端相同节点作为

2021-12-11 17:58:41 2120 2

原创 HDFS_07_安全模式与权限管理

HDFS_07_安全模式与权限管理持续更新大数据文章…1. 安全模式1.1 什么是安全模式？安全模式是HDFS的集群刚刚启动时候的一种工作状态。处于安全模式下，为了保证集群的稳定和客户的体验度，不允许客户对HDFS里面存储的数据状态进行修改，同时NameNode节点也不会进行数据块的复制或者删除，只向客户端提供文件的只读视图。1.2 处于安全模式下集群会做什么事情？2. HDFS之权限管理HDFS 的权限管理很弱，你说你自己是谁，HDFS就认为你是谁。比如，我说我是 root 用户，那么 H

2021-12-11 17:54:24 3235 1

原创 HDFS_06_HDFS服务器节点的分类

HDFS_06_HDFS服务器节点的分类持续更新大数据文章…1. HDFS服务器节点的分类 ⭐️经过前面的铺垫，现在是正式进入了 HDFS。分布式文件系统（DFS）是一个统称，HDFS 是指 Hadoop 的分布式文件系统，HDFS 原理和 DFS 类似。所以你会发现，HDFS 和前面学的 DFS 很类似。HDFS 节点分为三类：NameNode、DataNode、SecondaryNameNode1.1 为何要对HDFS服务器节点进行分类?我们先看看上面的图，客户端的文件被拆分成了数据

2021-11-26 09:00:48 2044 1

原创 HDFS_05_元数据

HDFS_05_元数据持续更新大数据文章…1. 一个文件包含的内容我们现在学的是 HDFS，HDFS是用来储存文件的，那么我们有必要了解一个文件包含了哪些内容一个文件内容可以大体分为两个部分：元数据、真实数据。1.1 元数据元数据是用来描述文件基本信息的数据，比如：文件大小文件用户-组-权限文件创建时间等…如果是这个文件要上传到 HDFS，那么元数据至少要包含：文件对应的数据块信息文件的数据块副本数量文件大小文件用户-组-权限文件创建时间等…

2021-11-25 14:04:42 1532 1

原创 HDFS_04_Hadoop集群命令

HDFS_04_Hadoop集群命令持续更新大数据文章…1. Hadoop集群命令对于 Hodoop 集群的命令，你不可能完全记住，使用主要记得常用的（put、get、mkdir、rm …）即可！遇到了要使用其他命令的情况，学会百度，学会去看官网文档就行了。1.1 命令分类1.1.1 hadoop fsFS relates to a generic file system which can point to any file systems like local, HDFS etc. S

2021-11-25 09:23:01 171 1

原创 HDFS_03_Hadoop3完全分布式搭建

HDFS_03_Hadoop3完全分布式搭建持续更新大数据文章 …重点！！！如果搭建环境搭建失败，那是因为初始环境没统一，您可以私信我解决，或者仔细查看我 Linux 专区环境搭建文章！Hdoop环境搭建是学习大数据的基础，一定要搭建起来！1. Hadoop3完全分布式搭建 ⭐️学习 HDFS 之前，必须要把 Hadoop3 完全分布式环境搭建起来！1.1 环境介绍前提是 node01、node02、node03 相互免密钥，如何免密要钥前面 Linux 相关文章！JDK为1.

2021-11-24 20:34:45 1284 1

原创 HDFS_02_文件系统

HDFS_02_文件系统持续更新大数据文章 …1. 文件系统（FS）学习文件系统是为了更好的理解分布式文件系统。而之所以要学习分布式文件系统，是因为传统的文件系统无法高效的存取海量数据，所以学习分布式文件系统架构之前，先要知道什么是文件系统，传统的文件系统处理海量数据的劣势。1.1 文件系统1.1.1 什么是文件系统？文件系统（File System），简称 FS ，顾名思义就是管理文件的系统。不同的用于有不同的文件系统，比如：Windows有Windows的文件管理系统，Linux有Lin

2021-11-24 20:16:24 143 1

原创 HDFS_01_Hadoop简介

HDFS_01_Hadoop简介本篇文章学的是 Hadoop 生态圈里面的 HDFS，HDFS 是解决大数据海量数据存储的技术。1. Hadoop1.1 为什么要学习Hadoop？大数据是时代发展和技术进步的产物，Hadoop 只是一种处理大数据的技术手段。所以想要学习大数据就必须先学习 Hadoop ！广义上来说，hadoop 指代大数据的一个生态圈，包括很多其他的软件。大数据是一系列技术的统称，经过多年的发展，大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列

2021-11-24 19:50:42 448 2

huoborn