- 本文主要进行以下步骤的完成:搭建整体集群 的环境,主要是四台虚拟机,然后安装jdk,安装hadoop,安装运行hdfs。
- 搭建集群环境:
(1)新建虚拟机:
模板机配置:
配置主机名:vi /etc/sysconfig/network
配置别名:vi /etc/hosts
配置IP地址:vi /etc/sysconfig/network-scripts/ifcfg-eth0
(2)克隆虚拟机:
修改虚拟机配置:
恢复网卡:vi/etc/udev/rules.d/70-persisent-net.rules
修改主机名:vi /etc/sysconfig/network
改IP地址配置文件:vi /etc/sysconfig/network-scripts/ifcfg-eth0
(3)关闭防火墙:
临时关闭防火墙:service iptables stop
永久关闭防火墙:chkconfig iptables off
(4)重启:reboot
(5)在本机文件中修改别名:C:\Windows\System32\drivers\etc \hosts
验证集群搭建结果:通过ping方法进行验证/flowchart.js/
安装JDK:
(1)下载JDK---------->上传安装包(SecureFX)
(2)安装:通过tar -zxvf
进行解压
(3)配置环境变量: vi /etc/profile 在文件的最后,加入:
export JAVA_HOME=/root/apps/jdk1.8.0_60
export PATH=$PATH:$JAVA_HOME/bin
(4)进入bin中source /etc/profile使配置生效
(5)检验:在任意目录下输入命令: java -version 看是否成功执行
(6)将安装好的jdk目录用scp命令拷贝到其他机器
(7)将**/etc/profile配置文件也用scp命令拷贝到其他机器并分别执行source**命令
安装hadoop:
(1)上传hadoop安装包到hdp-01
(2)解压即安装: tar -zxvf hadoop-2.8.5.tar.gz -C apps/
删除压缩包: rm –rf hadoop-2.8.5.tar.gz
删除doc文件夹, 里面的内容, 不需要: rm -rf share/doc/
(3)修改配置文件:
修改hadoop-env.sh :export JAVA_HOME=/root/apps/jdk1.8.0_60
修改core-site.xml :
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdp-01:9000/</value>
</property>
</configuration>
修改hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hdpdata/name/</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hdpdata/data</value>
</property>
</configuration>
修改HADOOP_HOME和PATH环境变量:vi /etc/profile
export JAVA_HOME=/root/apps/jdk1.8.0_60
export HADOOP_HOME=/root/apps/hadoop-2.8.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
(4)拷贝整个hadoop安装目录到其他机器
scp -r /root/apps/hadoop-2.8.5 hdp-02:/root/apps/
scp -r /root/apps/hadoop-2.8.5 hdp-03:/root/apps/
scp -r /root/apps/hadoop-2.8.51 hdp-04:/root/apps/
scp /etc/profile hdp-02:/etc/ … ----->source /etc/profile
(5)启动HDFS:
初始化namenode的元数据目录:hadoop namenode -format
启动namenode进程(在hdp-01上):hadoop-daemon.sh start namenode
启动众datanode们(在任意地方):hadoop-daemon.sh start datanode
(6)验证:在windows中用浏览器访问namenode提供的web端口:http://hdp-01:50070
用自动批量启动脚本来启动HDFS:
免密设定:
(1)ssh-keygen
(2) ssh-copy-id hdp-01 ssh-copy-id hdp-02 ssh-copy-id hdp-03 ssh-copy-id hdp-04
(3)配完免密后,可以执行一次 ssh 0.0.0.0
(4)修改hadoop安装目录中**/etc/hadoop/slaves**(把需要启动datanode进程的节点列入)
hdp-01
hdp-02
hdp-03
hdp-04
(5)在hdp-01上用脚本:start-dfs.sh
来自动启动整个集群
(6)如果要停止,则用脚本:stop-dfs.sh