2024年Hadoop大数据应用：NFS网关 连接 HDFS集群，2024年最新赶紧学习一下

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 19:59:30 CST 2024

![](https://img-blog.csdnimg.cn/direct/7eb7c7b8b3ac4d71a1f28668fc6f732a.png)![](https://img-blog.csdnimg.cn/direct/21900694f0944258adf600ed09e69c5f.png)


（14）卸载 （nfsgateway节点）

[root@nfsgateway ~]# yum remove -y rpcbind nfs-utils

![](https://img-blog.csdnimg.cn/direct/e3e38f2105344ef2886622c36b7276fa.png)


完成


![](https://img-blog.csdnimg.cn/direct/b2f91f2ac8ae42aa9e243a066ca31288.png)


（15）安装java运行环境

[root@nfsgateway ~]# yum install -y java-1.8.0-openjdk-devel.x86_64

## 


查看jps


![](https://img-blog.csdnimg.cn/direct/ded5ab646d0943eba3463543eec7afff.png)



（16）SSH免密认证

[root@hadoop hadoop]# cd /root/.ssh/
[root@hadoop .ssh]# ls
authorized_keys id_rsa id_rsa.pub known_hosts
[root@hadoop .ssh]# ssh-copy-id -i id_rsa.pub 192.168.204.56
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: “id_rsa.pub”
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed – if you are prompted now it is to install the new keys
root@192.168.204.56’s password:

Number of key(s) added: 1

Now try logging into the machine, with: “ssh ‘192.168.204.56’”
and check to make sure that only the key(s) you wanted were added.

![](https://img-blog.csdnimg.cn/direct/cda8a4e7f76b46b4b1426a3373a3df5b.png)


（17）关闭安全机制（需要reboot重启）

[root@nfsgateway ~]# vim /etc/selinux/config
……
SELINUX=disabled
……

![](https://img-blog.csdnimg.cn/direct/ef639804ada24a108fb9c36a62e1d85f.png)


 ![](https://img-blog.csdnimg.cn/direct/f2c082095dee4373a2e24c1702ca021e.png)


（18）同步hadoop配置

[root@nfsgateway ~]# rsync -aXSH --delete hadoop:/usr/local/hadoop /usr/local/

![](https://img-blog.csdnimg.cn/direct/d2aeecb6655743d5ae878c9b975d6516.png)


（19）修改NFS网关配置文件 （nfsgateway节点）

[root@nfsgateway hadoop]# vim hdfs-site.xml

![](https://img-blog.csdnimg.cn/direct/e73249684c2e4a98b12402ea05863b6b.png)


修改前：


![](https://img-blog.csdnimg.cn/direct/37dd2c4cf80345cea2ede20d5e08c70e.png)


修改后：

  <property>
      <name>nfs.exports.allowed.hosts</name>
      <value>* rw</value>
  </property>
  <property>
      <name>nfs.dump.dir</name>
      <value>/var/nfstmp</value>
  </property>

![](https://img-blog.csdnimg.cn/direct/145c539f8b5f4c429135aa3bf0542f6e.png)


（20）创建转储目录

[root@nfsgateway hadoop]# mkdir /var/nfstmp

![](https://img-blog.csdnimg.cn/direct/74adc3c8e02a45a19b4a0eb801f58b31.png)


（21）为代理用户授权

[root@nfsgateway hadoop]# chown nfsuser.nfsuser /var/nfstmp

![](https://img-blog.csdnimg.cn/direct/2b1273138328420e9f5f79bb36654ce8.png)


（22）在日志文件夹为代理用户授权


删除

[root@nfsgateway hadoop]# cd logs

[root@nfsgateway logs]# ls

[root@nfsgateway logs]# rm -f *

![](https://img-blog.csdnimg.cn/direct/6436052dae724c37b7a1c5e9c12cb706.png)


授权

[root@nfsgateway hadoop]# setfacl -m u:nfsuser:rwx logs

![](https://img-blog.csdnimg.cn/direct/e159ca40d8a8465d92c49fab7b329814.png)


查看授权

[root@nfsgateway hadoop]# getfacl logs

![](https://img-blog.csdnimg.cn/direct/8924b3212962416c939a7c4800423740.png)


（23）启动portmap

[root@nfsgateway hadoop]# ./sbin/hadoop-daemon.sh --script ./bin/hdfs start portmap

![](https://img-blog.csdnimg.cn/direct/6136366ecd2b4e8cbc7b142cb791a5d2.png)


查看jps


![](https://img-blog.csdnimg.cn/direct/de681cbf1f7946e2ad08407784c7cc53.png)


查看日志


![](https://img-blog.csdnimg.cn/direct/63a2ad19283348f7bf6dc007c9ee5f2e.png)


(24)启动 nfs3

[root@nfsgateway hadoop]# sudo -u nfsuser ./sbin/hadoop-daemon.sh --script ./bin/hdfs start nfs3

![](https://img-blog.csdnimg.cn/direct/9b594039ab6b424b986023ad807db014.png)


查看jps


![](https://img-blog.csdnimg.cn/direct/ac1f231e81304791a8c0f9d123fca3f3.png)


查看日志权限


![](https://img-blog.csdnimg.cn/direct/94a5964e661743c9bc1b7096a13bb26b.png)  
  



### 3. NFS客户端挂载HDFS文件系统


（1）安装NFS （node04节点）

[root@node04 ~]# yum install -y nfs-utils

![](https://img-blog.csdnimg.cn/direct/289d031ce387453d98094cc879d75d2d.png)


查看

[root@node04 ~]# showmount -e 192.168.204.56

![](https://img-blog.csdnimg.cn/direct/6a23f35291e941489c11dc737bd5b16b.png)



（2）客户端一mount挂载

[root@node04 ~]# mount -t nfs -o vers=3,proto=tcp,nolock,noatime,noacl,sync 192.168.204.56:/ /mnt/

![](https://img-blog.csdnimg.cn/direct/9011ea3fc26342d392744dd7c48b5725.png)


查看

[root@node04 ~]# cd /mnt/
[root@node04 mnt]# ls -l
总用量 4730432
drwxr-xr-x 5 root 2584148964 160 3月 14 11:05 devops
-rw-r–r-- 1 root 2584148964 1331869184 3月 14 15:49 jenkins.tar.gz
drwxr-xr-x 4 root 2584148964 128 3月 14 13:51 output
-rw-r–r-- 1 root 2584148964 3512090624 3月 14 15:53 pinpoint.tar.gz
drwxr-xr-x 2 root 2584148964 64 3月 14 15:15 system
-rw-r–r-- 1 root 2584148964 0 3月 14 11:11 tfile
drwx------ 3 root 2584148964 96 3月 14 13:50 tmp

![](https://img-blog.csdnimg.cn/direct/0601f985ed8a4c8aba18c15d245c050f.png)


(3)web查看


与NFS客户端内容一致

http://192.168.204.50:50070/

![](https://img-blog.csdnimg.cn/direct/01ea15c86c074d2793e043b2c6d1041e.png)



 (4）安装NFS （node05节点）

[root@node05 ~]# yum install -y nfs-utils

![](https://img-blog.csdnimg.cn/direct/e271848faf324169905946ce5460f60a.png)


查看

[root@node05 ~]# showmount -e 192.168.204.56

![](https://img-blog.csdnimg.cn/direct/3bbc392ef2e0431db3c3ff0241721d96.png)


 （5）客户端二mount挂载

[root@node05 ~]# mount -t nfs -o vers=3,proto=tcp,nolock,noatime,noacl,sync 192.168.204.56:/ /mnt/

![](https://img-blog.csdnimg.cn/direct/65ffbd6f3c284c3f8f6e9320cd4be585.png)


查看

[root@node05 mnt]# cd /mnt
[root@node05 mnt]# ll

![](https://img-blog.csdnimg.cn/direct/50b8cbdf2a0545599f6764eb099a4641.png)


新建文件

[root@node05 mnt]# touch cicd
[root@node05 mnt]# echo 123 >cicd

![](https://img-blog.csdnimg.cn/direct/eb132dec5d554bb389a1cf8494be937b.png)


（6）客户端一查看

[root@node04 mnt]# ls
cicd devops jenkins.tar.gz output pinpoint.tar.gz system tfile tmp
[root@node04 mnt]# cat cicd

![](https://img-blog.csdnimg.cn/direct/2b6359ca1bb643a8a1846e861813013d.png)




## 二、问题


### 1.关闭服务报错


（1）报错

node04: no datanode to stop

![](https://img-blog.csdnimg.cn/direct/25cad75d95f24423be9f25bd7e6dee44.png)


（2）原因分析


配置文件未移除node04节点。


（3）解决方法

[root@hadoop hadoop]# vim slaves

![](https://img-blog.csdnimg.cn/direct/166cedac8a7c48db90b28a685a7fddf4.png)


修改前：


![](https://img-blog.csdnimg.cn/direct/aa82ce2135e44fa5b55ffcd09cff8106.png)


修改后：


![](https://img-blog.csdnimg.cn/direct/1f25872a15ae419fa19677967903d313.png)



查看排除文件

[root@hadoop hadoop]# cat exclude

![](https://img-blog.csdnimg.cn/direct/b185db83e32f4f0ca2c0422e5d010c4a.png)


清空查看

[root@hadoop hadoop]# >exclude
[root@hadoop hadoop]# cat exclude

![](https://img-blog.csdnimg.cn/direct/dd9e3c9154994f43bb618f6d835bb742.png)


重新同步

[root@hadoop ~]# rsync -aXSH --delete /usr/local/hadoop/etc node01:/usr/local/hadoop/
[root@hadoop ~]# rsync -aXSH --delete /usr/local/hadoop/etc node02:/usr/local/hadoop/
[root@hadoop ~]# rsync -aXSH --delete /usr/local/hadoop/etc node03:/usr/local/hadoop/

![](https://img-blog.csdnimg.cn/direct/ee779f5f41a24c318f1380f3062fec49.png)


成功关闭服务

[root@hadoop hadoop]# ./sbin/stop-all.sh

![](https://img-blog.csdnimg.cn/direct/393a2874cdf14e72b26a8aa161cbe00b.png)



### 2.rsync 同步报错


（1）报错


![](https://img-blog.csdnimg.cn/direct/45810affb5784c9bafaa78144e42700d.png)


（2）原因分析


未关闭安全机制。


（3）解决方法


 关闭安全机制（需要reboot重启）

[root@nfsgateway ~]# vim /etc/selinux/config
……
SELINUX=disabled
……

![](https://img-blog.csdnimg.cn/direct/ef639804ada24a108fb9c36a62e1d85f.png)


 ![](https://img-blog.csdnimg.cn/direct/f2c082095dee4373a2e24c1702ca021e.png)


成功同步hadoop配置：

[root@nfsgateway ~]# rsync -aXSH --delete hadoop:/usr/local/hadoop /usr/local/

![](https://img-blog.csdnimg.cn/direct/d2aeecb6655743d5ae878c9b975d6516.png)


## 


### 3. mount挂载有哪些参数


（1）参数

1）v3版本
vers=3

2)仅使用TCP作为传输协议
proto=tcp

3)不支持随机写NLM
nolock

4)禁用access time 的时间更新
noatime

5)禁用acl扩展权限
noacl

6)同步写入避免重排序写入
sync

![img](https://img-blog.csdnimg.cn/img_convert/2033f56334d05f97e876ef16bd67e249.png)
![img](https://img-blog.csdnimg.cn/img_convert/191c1fadabfb118fa2f6d5c6f8f8a5a8.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

img-blog.csdnimg.cn/direct/d2aeecb6655743d5ae878c9b975d6516.png)


## 


### 3. mount挂载有哪些参数


（1）参数

1）v3版本
vers=3

2)仅使用TCP作为传输协议
proto=tcp

3)不支持随机写NLM
nolock

4)禁用access time 的时间更新
noatime

5)禁用acl扩展权限
noacl

6)同步写入避免重排序写入
sync

[外链图片转存中...(img-qHSTIZ2T-1714850996831)]
[外链图片转存中...(img-Yaqal4s8-1714850996831)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**