云主机
- 开放端口9000、50010
- 配置云主机hosts文件
- 配置windows hosts文件
注:两个hosts文件的主机名要一样,云主机用的是私网IP,windows用的是云主机的公网IP - 添加配置参数
System.setProperty("HADOOP_USER_NAME", "hadoop"); #设置用户名
conf.set("dfs.replication", "1"); # 根据自己的副本系数修改
conf.set("dfs.client.use.datanode.hostname", "true"); # 使用主机名访问DataNode
fileSystem = FileSystem.get(new URI(HDFS_PATH), conf, "hadoop"); # 用户名也可以在这里设置
虚拟机
- 关闭虚拟机的防火墙
- 配置虚拟机hosts文件
- 配置windsows的hosts文件(可选)
hdfs://192.168.73.111:9000 # 不配windows的hosts
hdfs://bigdata:9000 # 配windows的hosts
- 设置用户名,两种方式
# 法一
System.setProperty("HADOOP_USER_NAME", "hadoop");
# 法二
fileSystem = FileSystem.get(new URI(HDFS_PATH), conf, "hadoop");