hadoop
文章平均质量分 67
通凡
这个作者很懒,什么都没留下…
展开
-
hadoop快速搭建(参考)
在搭建的时候主要参考这篇博文,感觉写的还是比较详细;但是在多次格式化hdfs过后,集群可能出现数据节点不能正常启动的情况,这个主要是由于data和system目录下的current文件夹中的version文件的版本号不一致所导致的,可以手动将其改正;也可以将其直接删除,然后直接格式化一次,在直接生成即可。 在hadoop配置文件 的时候,可以多参考其他的文章。 标签:原创作品,允许转载,转载时转载 2015-07-16 15:11:06 · 638 阅读 · 0 评论 -
MapReduce框架学习
开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正理解了这套技术解决了什么问题时候,我后续的学习就能逐步的加快,而学习hdfs时候我就发现,要理解hadoop框架转载 2016-05-03 15:23:30 · 449 阅读 · 0 评论 -
HDFS详解
摘要 HDFS体系结构中有两类节点,一类是NameNode,又叫"元数据节点";另一类是DataNode,又叫"数据节点"。这两类节点分别承担Master和Worker具体任务的执行节点。 HDFS Hadoop namenode 目录[-] 2.3 元数据节点目录结构 2.4 数据节点的目录结构 2.5 文件系统命名空间映像文件及修改日志 3、HDFS体系结构转载 2016-05-03 16:00:29 · 3475 阅读 · 0 评论 -
HDFS 综述
Hadoop是一个开发和运行处理大规模数据的软件平台,是Apache的一个用Java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。 Hadoop框架中最核心设计就是:HDFS和MapReduce。HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。HD原创 2016-05-17 17:03:28 · 1365 阅读 · 0 评论 -
hadoop日常问题记录(1)
今天在操作HDFS的时候,碰到如下问题: HDFS采用的异构的方式,新增服务器的磁盘数量和大小与原集群中的磁盘数量和大小是不一样的,一般在集群扩展的过程中都会出现这个问题,不过Hadoop支持这种异构的方式,回去查看问题原因的时候,发现是在配置文件中挂载磁盘的目录最后一个没有分清楚, and .的区别,直接启动导致的HDFS中的VERSION文件中的datanodeUuid不一致造成的,然后...原创 2018-07-23 20:27:07 · 275 阅读 · 0 评论 -
HDFS回顾(二)——命令详解
对hdfs中的操作命令进行详细描述原创 2018-08-19 10:31:02 · 199 阅读 · 0 评论 -
HDFS回顾(一)——概念以及执行流程
最近在对大数据以往的学习过的东西进行整理,本篇博客总结一下hdfs的相关概念以及其执行流程 一 HDFS概念 HDFS是一个文件系统,用于存储和管理文件,通过统一的命名空间(类似于本地文件系统的目录树)。是分布式的,服务器集群中各个节点都有自己的角色和职责。 1. HDFS集群分为两大角色:NameNode、DataNode 2. NameNode负责管理整个文件系统的元数据(元数据就...原创 2018-08-20 22:58:43 · 953 阅读 · 1 评论