20230611_Hadoop_BigDataTools

Hadoop客户端

一、Big Data Tools工具

1. Pycharm专业版下载Big Data Tools工具。

2. 获取hadoop.dll与winutils.exe文件放置于$HADOOP_HOME/Bin中。

3. 配置系统环境变量：E:\hadoop-3.3.4

4. 配置Big Data Tools，登录。

   -- 如果需要走第二种路径配置登录, 需要修改etc/hadoop中的core-site.xml等文件。
   

二、HDFS NFS Gateway

HDFS提供了基于NFS（Network File System）的插件，可以对外提供NFS网关，供其他系统挂载使用。

NFS网关支持NFSv3，并允许讲HDFS作为客户机本地文件系统的一部分挂载，现在支持：

• 上传，下载，删除，追加内容

  ''' 挂载使用，类似于在我的电脑生成的放置于云端的百度网盘。'''
  

配置NFS

配置HDFS需要配置如下内容：

• core-site.xml，新增配置项，以及hdfs-site.xml，新增配置项。
• 开启portmap，nfs3两个进程。

在node1进行如下操作

1. 在core-site.xml内新增如下两项

<property>
	<name>hadoop.proxyuser.hadoop.groups</name>
	<value>*</value>
</property>
"""
允许hadoop用户代理任何其他用户组
"""
<property>
	<name>hadoop.proxyuser.hadoop.hosts</name>
	<value>*</value>
</property>
"""
允许代理任意服务器的请求
"""

2. 在hdfs-site.xml中新增如下项

   <property>
   	<name>nfs.superuser</name>
   	<value>hadoop</value>
   </property>
   """
   NFS操作HDFS系统，所使用的超级用户（HDFS的启动用户为超级用户）。
   """
   <property>
   	<name>nfs.dump.dir</name>
   	<value>/tmp/.hdfs-nfs</value>
   </property>
   """
   NFS接收数据上传时使用的临时目录。
   """
   <property>
   	<name>nfs.exports.allowed.hosts</name>
   	<value>192.168.88.1 rw</value>
   </property>
   """
   NFS允许连接的客户端IP和权限，rw表示读写，IP整体或者部分可以以*代替。
   课程设置的允许192.168.88.1以rw连接
   （这个IP是电脑虚拟网卡VMnet8的IP，连接虚拟机就是走的这个网卡）
   """
   
   

3. 将配置好的文件分发到node2和node3上

    scp core-site.xml hdfs-site.xml node2:`pwd`/
    scp core-site.xml hdfs-site.xml node3:`pwd`/
   

4. 重启Hadoop的HDFS集群

5. 停止系统的NFS相关进程（必须root用户权限执行）

   • systemctl stop nfs; systemctl disable nfs 关闭系统nfs
   • yum remove -y rpcbind 卸载系统自带rpcbind

6. 启动portmap(HDFS自带的rpcbind功能)（必须root用户权限执行）

   hdfs --daemon start portmap
   

7. 启动nfs(HDFS自带的NFS功能)（必须以Hadoop用户执行）

   hdfs --daemon start nfs3
   

8. 验证是否成功：

   在node2和node3执行：rpcinfo -p node1

   出现mountd和nfs后

   再输入：showmount -e node1

   可以看到 /192.168.88.1即为成功

9. 在cmd中输入：

   # 注意空格
   net use X: \\192.168.88.101\!