hadoop安装好之后需要配置5个文件,分别是hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml。
在SecureCRT中,使用sftp传输文件,可以使用ailt+p则可打开,然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz。
- 配置hadoop ,配置hadoop-env.sh文件
路径:/home/hadoop/app/hadoop-2.4.1/etc/hadoop/hadoop-env.sh
sudo vi hadoop-env.sh
#第27行
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
2. 配置core-site.xml ,其中fs.defaultFS指定HADOOP所使用的文件系统;hdfs://weekend110:9000,其中weekend110是主机名,端口号是9000;hadoop.tmp.dir指定hadoop运行时产生文件的存储目录,也就是/home/hadoop/app/hadoop-2.4.1/data/
3.配置hdfs-site.xml,dfs.replication指定HDFS副本的数量,为1
4.配置mapred-site.xml,指定mr运行在yarn上
5.配置yarn-site.xml文件,指定YARN的老大(ResourceManager)的地址yarn.resourcemanager.hostname,reducer获取数据的方式weekend110