Hadoop
Eva_Z
这个作者很懒,什么都没留下…
展开
-
欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl原创 2017-03-03 18:53:43 · 180 阅读 · 0 评论 -
Hadoop介绍
这是我自己在学习大数据时的笔记总结,适合可爱的小白们作为扫盲了解,所以会出现很多非专业用语,希望各位专业人士暂时忘掉自己的强迫症,如实在不能忍受,那就闭着眼睛看吧。可能出现一些错误的认识,还希望大家能够及时指出来,共同进步。 什么是Hadoop Hadoop是Apache软件基金会发行的可靠的、可扩展的、分布式计算的开源软件。 Apache Hadoop软件库是一个允许大规模数据集在原创 2017-03-03 19:22:26 · 419 阅读 · 0 评论 -
HDFS分布式存储及特点
介绍 HDFS是Hadoop应用程序使用的主要分布式存储,主要被设计在商用硬件上运行,也就是说,他必须满足低成本、高容错、高吞吐的特性才能在众多的分布式存储系统中脱颖而出。特点低成本 HDFS实现的分布式存储实际是由数百个甚至数千个服务器提供的(目前Hadoop已经实现了两千多个节点的部署),这比单独使用一台大型服务器在遇到故障时的成本付出要少的多,现在如果某个服务器发生原创 2017-03-03 20:09:22 · 8049 阅读 · 0 评论 -
HDFS之NameNode
权利主服务器管理文件的 命名空间 凡是对文件系统命名或其他属性的修改信息都会保存到这里。 比如,有个名为Eva的文件放在目录/usr下,现在要将他改名为zuo,移动到/usr/local目录下,这些修改日志都会被 NameNode的edit log文件记录。存放HDFS的 元数据 信息 即文件系统的目录树以及追踪集群文件,简单来说就是NameNode不实际存储数据,但是他知道数据的存放位置原创 2017-03-08 10:05:23 · 2161 阅读 · 0 评论 -
Hdfs之SecondaryNameNode
概述 启动集群Hdfs(start-dfs.sh)之后,查看进程(jps)会在master节点上看到,除了namenode进程之外还会有个secondarynamenode进程,从字面上看,很多人会把他当做namenode的“二把手”,当做namenode的备份进程之类的,但实际上他与namenode担任的是不同的角色。主要工作内容 要说secondarynamnode的工作内容,需要回顾一下他原创 2017-03-10 14:42:22 · 849 阅读 · 0 评论 -
HDFS常用操作
创建目录命令格式:hdfs dfs -mkdir 举例:在hdfs上已有文件夹data下面简历一个新的文件夹zuo hdfs dfs -mkdir /data/zuo读取文件查看文件命令格式: hdfs dfs -ls #列出文件路径下的文件 hdfs dfs -ls -a #列出文件路径下所有的文件,包括隐藏文件 hdfs dfs -ls原创 2017-03-31 12:06:11 · 1486 阅读 · 0 评论 -
Hadoop之MapReduce
1、 MapReduce是什么?Hadoop MapReduce是一个软甲框架,基于该框架能够很容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的搭集群上,并以一种可靠的、具有容错能力的方式并行地处理上TB 的海量数据。2、MapReduce做什么?MapReduce是用来并行处理海量数据运算的,但是具体是如何进行的呢? 首先,我们要了解他的思想是“分而治之”。MapReduce的原创 2017-04-25 11:37:16 · 364 阅读 · 0 评论