HDFS
nobody~
这个作者很懒,什么都没留下…
展开
-
在启动HDFS时,针对集群中namenode无法识别datanode的问题的解决方法
最近由于重装了系统,需要对之前搭建的集群要做些改动。在对每个虚拟机的网络进行正确的配置之后,重新执行hadoop/sbin/start-dfs.sh命令来启动HDFS,然而namenode却无法识别datanode。 后来通过对之前学过的知识进行回顾和梳理发现了问题的所在: 由于场景的改变造成了虚拟机IP地址的改变,在这里虽然在虚拟机中配置网络的IP也做了相应的改变,但是Hadoop集群中的一些原创 2017-07-13 14:25:56 · 5476 阅读 · 0 评论 -
大数据之HDFS应用开发(java API)
1、搭建开发环境window下开发的说明: A、在windows的某个目录下解压一个hadoop的安装包 B、将安装包下的lib和bin目录用对应windows版本平台编译的本地库替换 (这里我的环境是win10、hadoop2.6.4。 对应的win10的编译的本地库下载地址:http://pan.baidu.com/s/1dFzYVKH 密码:pdj9) C、在window系统中配置原创 2017-10-31 14:50:03 · 836 阅读 · 0 评论 -
HDFS读写数据的原理
最近由于要准备面试,就把之前学过的东西好好整理下,权当是复习。 下面说下HDFS读写数据的原理。1 概述HDFS集群分为两大角色:NameNode、DataNode NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块 文件会按照固定的大小(blocksize)切成若干块后分布式存储在若干台datanode上 每一个文件块可以有多个副本,并存放在不同的原创 2017-12-26 22:04:08 · 6979 阅读 · 0 评论 -
HDFS的简介及基本操作(常用的命令参数介绍)
前言:总算有空来接着写大数据的学习笔记了,今天就把之前学过的HDFS的基础知识详细的介绍一下,如有哪点写的不足希望大家多多指教。1、HDFS基本概念1.1、前言: 设计思想 分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析。 在大数据系统中作用: 为各类分布式运算框架(如:mapreduce,spark,tez,……)提供...原创 2017-10-30 11:29:27 · 1857 阅读 · 0 评论 -
Secondary Namenode的Check point机制以及Namenode、Datanode工作机制说明
前言:在说明checkpoint机制之前,先要了解下namenode、datanode的一些功能和职责。1、NameNode的工作机制问题场景: 1、集群启动后,可以查看文件,但是上传文件时报错,打开web页面可看到namenode正处于safemode状态,怎么处理?(safemode是由于当前的namenode和大部分的datanode未建立完全的链接<即namenod...原创 2017-12-28 23:00:07 · 1126 阅读 · 0 评论