菜菜的博客

1.3 环境概述hadoop YARN分布式资源调度,会启动ResourceManager进程作为管理节点,NodeManager进程作为工作节点,ProxyServer，JobHistoryServer这两个辅助节点今天的MapReduuce配置&YARN集群部署,算是大数据学习路上的必经之路,虽然说配置文件中的内容非常多,其实分段理解,还不算什么特别难的的东西,跟着教程慢慢来,注意中间的配置文件内容别出错了,启动就直接ok了,最后看到这样的web页面也是成就感满满。

​ HDFS NFS Gateway是Hadoop Distributed File System（HDFS）中的一个组件，它允许客户端通过NFS（Network File System，网络文件系统）与HDFS进行交互。具体来说，HDFS NFS Gateway允许客户端像访问本地文件系统一样挂载和访问HDFS文件系统，支持上传，下载，删除，追加内容，有点类似于windows的文件共享。下面正文即开始讲解该组件的功能使用，以及配置检查NFS是否正常。

​ 最近有很多朋友都开始转行大数据竞赛了，大部分都是刚刚入门之类的，我自己是有一些基础的，玩过一段时间，最近很多好友学弟，都问过一个问题就是有没有什么类似于远程控制，或者图形化控制HDFS的插件或者软件啥的，我就想起来有一个插件叫Big Data Tools，之前我学的时候几乎一直都是使用这个插件，巨巨巨好用，就想到出一片文章来为大家讲解一下这个工具，让大家又减少弯路，那就废话不多说了，接下来就是正文了。

HDFS文件系统的超级用户：是启动namenode的用户(也就是课程的hadoop用户)在HDFS中，可以使用和Linux一样的授权语句，即：chown和chmod。HDFS中，也是有权限控制的，其控制逻辑和Linux文件系统的完全一致。但是不同的是，两个系统的Supergroup不同(超级用户不同)启动namenode的用户就是HDFS中的超级用户。比如如下，root用户就是没有权限的。Linux的操作用户是root。

HDFS作为分布式存储的文件系统，有其对数据的路径表达方式HDFS同linux系统一样，均是以/作为根目录的组织形式。

hadoop进程管理看这一篇就足够了，一键启动，一键停止，单进程启动或停止，还有自带的一键脚本，包看包会！

本篇文章主要的内容就是检查配置文件，还有一些常见的报错问题解决方法，希望能够帮助到大家。

对于更大规模的生产环境，可能需要考虑完全分布式模式，该模式涉及到在多台主机上部署Hadoop集群，并实现真正的分布式存储和计算

为什么要分布式存储数据，假设一个文件有100tb，我们就把文件划分为多个部分，放入到多个服务器，靠数量取胜，多台服务器组合，才能Hold住

在大数据的学习中，前置基础是必不可少的，这一篇非常详细的基础配置文章教程就非常适合做你的入门首选！