Hadoop伪分布式安装
1、解压hadoop包
2、进入 /etc/hadoop目录下,修改配置文件
2.1 修改core-site.xml
2.2 修改hadoop-env.sh
主要是修改里面的JAVA_HOME,如果已经添加到环境变量,就不用修改,否则,要把java的安装路径写进去
2.3 修改hdfs-site.xml
2.4 修改mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
2.5 修改yarn-site.xml
3、格式化namenode
进入bin目录下,运行命令hdfs namenode -format
4 启动hadoop
进入sbin目录下,运行start-all.sh脚本
启动成功的状态:
5 测试:在hfds下新建目录/data
在window下运行hadoop
1、在window下解压hadoop安装包,配置环境变量 /bin
2、window下写代码测试
private static FileSystem fs = null;
@Before
public void fs() throws IOException {
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://10.206.19.80:9000");
conf.set("dfs.replication", "1");
fs = FileSystem.get(conf);
}
@Test
public void testMkdir() throws IllegalArgumentException, IOException {
boolean res = fs.mkdirs(new Path("hdfs://10.206.19.80:9000/data/hdfsTest/pengxiaochun1"));
System.out.println("result ="+res);
}
会提示出错,因为window上的当前用户,访问不了linux的hadoop环境下的目录
3、修改权限
./hadoop fs -chmod 777 /
4、测试
说明可以在window下进行调试了。
hadoop集群安装