- 博客(5)
- 收藏
- 关注
RSS订阅原创 HDFS 的 JAVA API 操作
HDFS 的 JAVA API 操作本节资源：Hadoop在window上编译好的压缩包：链接：https://pan.baidu.com/s/1QvialqyxBu_eHvLEkwBcAw提取码：q8f7HDFS 在生产应用中主要是客户端的开发，其核心步骤是从 HDFS 提供的 api中构造一个 HDFS 的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS 上的文件。1...
2019-08-13 22:49:24
235
原创 HDFS基本原理
HDFS基本原理NameNode 概述NameNode 是 HDFS 的核心。NameNode 也称为 Master。NameNode 仅存储 HDFS 的元数据：文件系统中所有文件的目录树，并跟踪整个集群中的文件。NameNode 不存储实际数据或数据集。数据本身实际存储在 DataNodes 中。NameNode 知道 HDFS 中任何给定文件的块列表及其位置。使用此信息Name...
2019-08-13 22:47:28
182
原创 HDFS 基本概念
HDFS 基本概念1. HDFS 介绍HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。...
2019-08-13 22:45:31
1246
原创 启动Hadoop集群
启动Hadoop集群第一次启动前置工作注意：首次启动 HDFS 时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。(本质是对namenode进行初始化)命令：hdfs namenode -format 或者 hadoop namenode -format命令中的 - 已经修复为 英文输入法下的 -关于hdfs的格式化：首次启动需要进行格...
2019-08-13 22:41:52
2095
原创 Hadoop集群搭建
Hadoop集群搭建博客资源：Hadoop编译好的Linux安装包（2.7.4）：链接：https://pan.baidu.com/s/1hpwF6ZwiqXOq-bvTHFEExA提取码：yx0v前置工作同步时间设置主机名映射配置ssh免密登录配置防火墙（关闭防火墙）安装JDK（之前有安装教程）这几步之前在安装zookeeper集群的时候都有介绍，忘记的可以回顾一下我之...
2019-08-13 22:36:58
246
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人