Hadoop入门-配置篇

简易Hadoop配置

安装说明: 使用版本为jdk1.8.0-121+hadoop-2.7.3+ubuntu16.04

1. 下载上述软件并安装(这里我使用伪分布式安装，安装了两台虚拟机，分别为master和slave1，如果电脑性能较高的话，可以依此再安装slave2等)
2. 获取当前虚拟机的ip地址(ifconfig)，修改/etc/hosts，在hosts文件中127.0.0.1 localhost 后面写上 master(集群中的主节点)，在文件最后添加hadoop node
   192.168.127.130 master(根据个人虚拟机确定)
   192.168.127.129 slave1(根据个人虚拟机确定)
3. 进入/usr/hasoop-2.7.3/etc/hadoop(hadoop安装和解压路径)中修改hadoop-env.sh/core-site.xml/hdfs-site.xml/mapred-site.xml(sudo mv mapred-site-template.xml mapred-site.xml)/yarn-site.xml(根据网上教程配置)
4. 进入/usr/hadoop-2.7.3/bin目录下执行./hadoop namenode -format命令格式化namenode，启动成功后可以运行jps查看当前运行节点
5. 现在可以执行start-all.sh/stop-all.sh查看hadoop安装效果，若运行正常，则代表hadoop安装配置好了。