hadoop安装

Hadoop伪分布式安装

1、解压hadoop包

2、进入 /etc/hadoop目录下，修改配置文件

2.1 修改core-site.xml

2.2 修改hadoop-env.sh

主要是修改里面的JAVA_HOME，如果已经添加到环境变量，就不用修改，否则，要把java的安装路径写进去

2.3 修改hdfs-site.xml

2.4 修改mapred-site.xml

 cp mapred-site.xml.template mapred-site.xml

2.5 修改yarn-site.xml

3、格式化namenode

进入bin目录下，运行命令hdfs namenode -format

4 启动hadoop

进入sbin目录下，运行start-all.sh脚本

启动成功的状态：

5 测试：在hfds下新建目录/data

 

在window下运行hadoop

1、在window下解压hadoop安装包，配置环境变量  /bin

2、window下写代码测试

private static FileSystem fs = null;

@Before
	public void fs() throws IOException {
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://10.206.19.80:9000");
		conf.set("dfs.replication", "1");
		fs = FileSystem.get(conf);
	}

@Test
	public void testMkdir() throws IllegalArgumentException, IOException {
		boolean res = fs.mkdirs(new Path("hdfs://10.206.19.80:9000/data/hdfsTest/pengxiaochun1"));
		System.out.println("result ="+res);
	}

会提示出错，因为window上的当前用户，访问不了linux的hadoop环境下的目录

3、修改权限

./hadoop fs -chmod 777 /

4、测试

说明可以在window下进行调试了。

 

hadoop集群安装

 

转载于:https://my.oschina.net/u/2874009/blog/739896