hadoop学习笔记2-简单集群搭建

2. Hadoop集群搭建(三台虚拟机)
一. 三台虚拟机
二. 分别装好JDK和hadoop
注意配置环境变量
三. 配置三台机器的ip
· 固定ip
sudo vi /etc/network/interface
加入下面的配置
auto ens33  /*ifconfig 看你的网卡名字*/
iface ens33 inet static /*dbcp是动态获取*/
address x.x.x.x
netmask 255.255.255.0


· 设置每台机器自己的主机名，方便标识
sudo vi /etc/hostname
· 设置主机名和其ip的映射关系
sudo vi /etc/hosts
添加例如： 192.168.10.128  namenode01(主机名)


四. 建立集群日志输出目录
· 新建目录
/data/hadoop/hdfs 
/data/hadoop/hdfs/nn
/data/hadoop/hdfs/dn
/data/hadoop/hdfs/snn


/data/hadoop/yarn
/data/hadoop/yarn/nm
/data/hadoop/yarn/logs


/opt/hadoop-2.6.0/logs/
设置权限为可读可写（可设为777）


五. 完成hadoop配置信息(/opt/hadoop/etc/hadoop/)
共六个文件：
· hadoop-env.xml 25行将JAVA_HOME改成绝对路径
· slaves
把预先规划成 从节点的ip或机器名写在里面。
· core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://namenode01:9000</value>
</property>
· hdfs-site.xml
<!-- 集群逻辑名称 -->
<property>
<name>dfs.nameservices</name>
<value>hadoop-cluster1</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/data/hadoop/hdfs/nn</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>file:/data/hadoop/hdfs/snn</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>file:/data/hadoop/hdfs/snn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/data/hadoop/hdfs/dn</value>
</property>
· yarn-site.xml
<!--   ResourceManager   --> 
<property>
<name>yarn.resourcemanager.hostname</name>
<value>namenode01</value>
</property>
<!--   reducer       --> 
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value> 
</property>
<property>
<name>yarn.nodemanager.local-dirs</name> 
<value>/data/hadoop/yarn/nm</value>
</property>
· mapred-site.xml
<property>
<!-指定Mapreduce运行在yarn上-->
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
</property>


六.格式化HDFS文件系统
hdfs namenode -format


七.服务器集群启动与关闭
· HDFS集群的启动/关闭
启动/关闭名字节点（主节点）：
hadop-daemon.sh start/stop namenode
启动/关闭第二名字节点：
hadoop-daemon.sh start/stop secondarynamenode
启动/关闭数据节点:
hadoop-daemon.sh start/stop datanode
· yarn集群的启动/关闭
启动/关闭资源管理器:
yarn-daemon.sh start/stop resourcemanager
启动/关闭节点管理器:
nodemanager
· 启动/关闭 MR作业日志服务器
mr-jobhistory-daemon.sh start/stop historyserver


八.登录监控平台
HDFS集群:
port:50070
YARN:
port:8088
MR:
port:19888




九.配置SSH免密码登录
· 安装SSH
sudo apt-get install openssh-server
· 生成公钥和私钥
ssh-keygen -t rsa -P ""
· 将公钥追加到文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
· 免密启动服务器集群
start-dfs.sh/stop-dfs.sh
start-yarn.sh/stop-yarn.sh