【服务器】（八）阿里云ECS上搭建Hadoopd集群环境——IDEA2020版远程连接阿里云hdfs【图文及问题解析】(Ubuntu)

鸣谢——核心参考

1. 阿里云服务器ping不通解决办法（云服务器搭建完环境访问不了ip解决办法）

2.Windows下IntelliJ IDEA远程连接服务器中Hadoop运行WordCount（详细版）

3.外网无法访问云主机HDFS文件系统

注意：

【说明】：请确保你的IDEA正确安装了marven等运行java的基础环境
【说明】：请确保你的IDEA正确安装了marven等运行java的基础环境
【说明】：请确保你的IDEA正确安装了marven等运行java的基础环境
，本文不适合，第一次接触IDEA且没运行过java程序的IDEA编辑器使用者

一、IDEA集成(阿里云)虚拟机环境

(1). 设置阿里云“服务器开放端口”

    1.1检查防火墙状态

    【说明】：个人建议——若是，自己学习的话，可以关闭防火墙

1. Ubuntu系统

	sudo ufw disable	#关闭
	sudo ufw status		#查看状态“intact”表示关闭状态

2. CentOS7系统

	systemctl  stop   firewalld.service #关闭防火墙
	systemctl  disable  firewalld.service	#禁止自动启动就用 

    1.2阿里云安全组设置，开放特定端口(见附录)

    【说明】：本文是集成所有大数据环境后才做的补充记录，端口很多。虽然覆盖了当前所需(22)的端口好像，但是，其他端口也不防百度下作用，然后尝试开启。

(2). 设置Mysql连接“云服务器数据库”

    2.1 IDEA配置Mysql连接

     2.2. 查看所有mysql表，下列操作后，再点击“schemas”就可以了

(3).配置SSh远程连接“阿里云虚拟机命令行”

     3.1 配置链接云服务器虚拟机链接

     3.2 链接成功的结果

     3.3 IDEA打开虚拟机的命令行

二、IDEA访问hadoop集群的hdfs【阿里云端口配置见上】

(1). Windows本地配置Hadoop集群

    IDEA在本地环境下运行，需要本地的hadoop。就是：把阿里云的hadoop应用程序下载到本地，放于指定的安装文件夹。

【下载说明】：

• 【说明-1】只要下载“主服务器”上的hadoop环境，即，nameNode进程所在的服务器上的安装的hadoop软件包
• 【说明-2】hadoop的配置文件，也需要进行修改，可对照：阿里云ECS上搭建Hadoop集群环境,上的属性名百度其作用。

    1.1下载阿里云上的hadoop环境并放于本地

1. 下载阿里云上的hadoop
   

2. 放于本地文件夹
   

    1.2配置本地关于阿里云公网的映射

【说明】“映射”的理解：“老王”在寡妇村是指张三这个人，“张三”在男子体校就是指张三。
【总结】：映射就是让机器能从各种各样的称呼中识别出指定对象

1. 设置Windows端映射
   
2. 【补充】：如何找服务器host名称
   

    1.3配置阿里云映射设置情况

【说明】内容具体配置，见：设置免密码ssh登陆

1. Master端(Ubuntu系统)
   

2. Slave1端(Centos系统)
   

3. Slave2端(Centos系统)
   

    1.4测试访问情况

1. 运行hadoop与zookeeper集群,正常状态如下：
   
   
   
2. 编辑程序访问阿里云
   
   

【】HdfsBase程序：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import java.util.Scanner;

public class HdfsBase {
   
    private FileSystem fs;

    /**
     *
     * &