Hadoop大数据应用：NFS网关连接 HDFS集群

2401_84181058

于 2024-04-27 23:52:50 发布

阅读量455

点赞数 21

分类专栏：程序员文章标签： hadoop 大数据 hdfs

本文链接：https://blog.csdn.net/2401_84181058/article/details/138261278

版权

程序员专栏收录该内容

171 篇文章 1 订阅

订阅专栏

（8）同步Hadoop配置 (hadoop节点)

[root@hadoop hadoop]# rsync -aXSH --delete /usr/local/hadoop/etc node01:/usr/local/hadoop/
[root@hadoop hadoop]# rsync -aXSH --delete /usr/local/hadoop/etc node02:/usr/local/hadoop/
[root@hadoop hadoop]# rsync -aXSH --delete /usr/local/hadoop/etc node03:/usr/local/hadoop/

（9）停止服务

[root@hadoop hadoop]# ./sbin/stop-all.sh

（10）启动服务

[root@hadoop hadoop]# ./sbin/start-dfs.sh

（12）查看jps

[root@hadoop hadoop]# jps
68187 Jps
68060 SecondaryNameNode
67854 NameNode
[root@hadoop hadoop]# ssh node01 jps
61868 Jps
61773 DataNode
[root@hadoop hadoop]# ssh node02 jps
10842 Jps
10747 DataNode
[root@hadoop hadoop]# ssh node03 jps
61872 Jps
61777 DataNode

(13) 验证

[root@hadoop hadoop]# ./bin/hdfs dfsadmin -report
Configured Capacity: 616594919424 (574.25 GB)
Present Capacity: 598913466368 (557.78 GB)
DFS Remaining: 589148815360 (548.69 GB)
DFS Used: 9764651008 (9.09 GB)
DFS Used%: 1.63%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (3):

Name: 192.168.204.53:50010 (node03)
Hostname: node03
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 3123707904 (2.91 GB)
Non DFS Used: 5622108160 (5.24 GB)
DFS Remaining: 196785823744 (183.27 GB)
DFS Used%: 1.52%
DFS Remaining%: 95.74%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 19:59:30 CST 2024


Name: 192.168.204.51:50010 (node01)
Hostname: node01
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 2998738944 (2.79 GB)
Non DFS Used: 6029377536 (5.62 GB)
DFS Remaining: 196503523328 (183.01 GB)
DFS Used%: 1.46%
DFS Remaining%: 95.61%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 19:59:30 CST 2024


Name: 192.168.204.52:50010 (node02)
Hostname: node02
Decommission Status : Normal
Configured Capacity: 205531639808 (191.42 GB)
DFS Used: 3642204160 (3.39 GB)
Non DFS Used: 6029967360 (5.62 GB)
DFS Remaining: 195859468288 (182.41 GB)
DFS Used%: 1.77%
DFS Remaining%: 95.29%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Mar 14 19:59:30 CST 2024

（14）卸载（nfsgateway节点）

[root@nfsgateway ~]# yum remove -y rpcbind nfs-utils

完成

（15）安装java运行环境

[root@nfsgateway ~]# yum install -y java-1.8.0-openjdk-devel.x86_64

查看jps

（16）SSH免密认证

[root@hadoop hadoop]# cd /root/.ssh/
[root@hadoop .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts
[root@hadoop .ssh]# ssh-copy-id -i id_rsa.pub 192.168.204.56
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "id_rsa.pub"
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@192.168.204.56's password:

Number of key(s) added: 1

Now try logging into the machine, with:   "ssh '192.168.204.56'"
and check to make sure that only the key(s) you wanted were added.

（17）关闭安全机制（需要reboot重启）

[root@nfsgateway ~]# vim /etc/selinux/config
……
SELINUX=disabled
……

（18）同步hadoop配置

[root@nfsgateway ~]# rsync -aXSH --delete hadoop:/usr/local/hadoop /usr/local/

（19）修改NFS网关配置文件（nfsgateway节点）

[root@nfsgateway hadoop]# vim hdfs-site.xml

修改前：

修改后：

      <property>
          <name>nfs.exports.allowed.hosts</name>
          <value>* rw</value>
      </property>
      <property>
          <name>nfs.dump.dir</name>
          <value>/var/nfstmp</value>
      </property>

（20）创建转储目录

[root@nfsgateway hadoop]# mkdir /var/nfstmp

（21）为代理用户授权

[root@nfsgateway hadoop]# chown nfsuser.nfsuser /var/nfstmp

（22）在日志文件夹为代理用户授权

删除

[root@nfsgateway hadoop]# cd logs

[root@nfsgateway logs]# ls

[root@nfsgateway logs]# rm -f *

授权

[root@nfsgateway hadoop]# setfacl -m u:nfsuser:rwx logs

查看授权

[root@nfsgateway hadoop]# getfacl logs

（23）启动portmap

[root@nfsgateway hadoop]# ./sbin/hadoop-daemon.sh --script ./bin/hdfs start portmap

查看jps

查看日志

(24)启动 nfs3

[root@nfsgateway hadoop]# sudo -u nfsuser ./sbin/hadoop-daemon.sh --script ./bin/hdfs start nfs3

查看jps

查看日志权限

3. NFS客户端挂载HDFS文件系统

（1）安装NFS （node04节点）

[root@node04 ~]# yum install -y nfs-utils

查看

[root@node04 ~]# showmount -e 192.168.204.56

（2）客户端一mount挂载

[root@node04 ~]# mount -t nfs -o vers=3,proto=tcp,nolock,noatime,noacl,sync 192.168.204.56:/ /mnt/

查看

[root@node04 ~]# cd /mnt/
[root@node04 mnt]# ls -l
总用量 4730432
drwxr-xr-x 5 root 2584148964        160 3月  14 11:05 devops
-rw-r--r-- 1 root 2584148964 1331869184 3月  14 15:49 jenkins.tar.gz
drwxr-xr-x 4 root 2584148964        128 3月  14 13:51 output
-rw-r--r-- 1 root 2584148964 3512090624 3月  14 15:53 pinpoint.tar.gz
drwxr-xr-x 2 root 2584148964         64 3月  14 15:15 system
-rw-r--r-- 1 root 2584148964          0 3月  14 11:11 tfile
drwx------ 3 root 2584148964         96 3月  14 13:50 tmp

(3)web查看

与NFS客户端内容一致

http://192.168.204.50:50070/

(4）安装NFS （node05节点）

[root@node05 ~]# yum install -y nfs-utils

查看

[root@node05 ~]# showmount -e 192.168.204.56

（5）客户端二mount挂载

[root@node05 ~]# mount -t nfs -o vers=3,proto=tcp,nolock,noatime,noacl,sync 192.168.204.56:/ /mnt/

查看

[root@node05 mnt]# cd /mnt
[root@node05 mnt]# ll

新建文件

[root@node05 mnt]# touch cicd
[root@node05 mnt]# echo 123 >cicd

（6）客户端一查看

[root@node04 mnt]# ls
cicd  devops  jenkins.tar.gz  output  pinpoint.tar.gz  system  tfile  tmp
[root@node04 mnt]# cat cicd

二、问题

1.关闭服务报错

（1）报错

node04: no datanode to stop

（2）原因分析

配置文件未移除node04节点。

（3）解决方法

[root@hadoop hadoop]# vim slaves

修改前：

修改后：

查看排除文件

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

https://img-blog.csdnimg.cn/direct/166cedac8a7c48db90b28a685a7fddf4.png)

修改前：

修改后：

查看排除文件

[外链图片转存中…(img-ydUwJXyW-1714233151166)]
[外链图片转存中…(img-j4CKN4O1-1714233151166)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

2401_84181058

关注

21
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
Hadoop大数据应用：NFS网关连接 HDFS集群

（8）同步Hadoop配置 (hadoop节点)（9）停止服务（10）启动服务（12）查看jps(13) 验证（14）卸载（nfsgateway节点）完成（15）安装java运行环境查看jps（16）SSH免密认证（17）关闭安全机制（需要reboot重启）（18）同步hadoop配置（19）修改NFS网关配置文件（nfsgateway节点）修改前：（20）创建转储目录（21）为代理用户授权（22）在日志文件夹为代理用户授权删除授权查看授权（23）启动portmap查看jps查看日志。
复制链接

扫一扫