基于Hadoop的云计算平台搭建(伪分布式)

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_31093759/article/details/71105077

本主编心血来潮,整理出此文档,若有不对的地方请诸位指出错误

准备:自行下载Vmvare虚拟机,SecureCRT和CentOS-6.5-x86_64-bin-DVD1.iso(镜像文件)

关于VMware,SecureCRT的安装以及在VMvare虚拟机上如何装Centos-6.5都很简单,大家网上查找如何安装以及其注意事项即可,在这里不再说明。请谅解,以上环境都准备好的,接下来我们进入正式的环境配置:

Hadoop 的部署

1linux系统的安装、配置

我们对于虚拟机软件特别是虚拟网络环境很困惑,这里需要详细讲一下虚拟机的思想可先讲实际环境要物理机,要交换机,要网络配置

那么,在虚拟环境下,同样需要具备这些要素,缺一不可,只是机器,交换机需要用虚拟的方式产生的而已。这里我们需要了解一下交换机和网关的概念?在计算机网络系统中,交换机产生的目的在于解决共享工作模式。交换机拥有一条高带宽的背部总线和内部交换矩阵。

网关简单地说是用于连接局域网和Internet。因此,我们在生产中VMWare虚拟机提供了三种工作模式:

1.bridged(桥接模式)

2.NAT(网络地址转换模式)

3.host-only(主机模式)

其中两种典型的网络连接模式,natbridge桥接模式。 桥接模式:在bridged模式下,VMWare虚拟出来的操作系统就像是局域网中的一台独立的主机,它可以访问网内任何一台机器。在bridged模式下,你需要手工为虚拟系统配置IP地址、子网掩码,而且还要和宿主机器处于同一网段,这样虚拟系统才能和宿主机器进行通信。Nat模式:使用NAT模式,就是让虚拟系统借助NAT(网络地址转换)功能,通过宿主机器所在的网络来访问公网。也就是说,使用NAT模式可以实现在虚拟系统里访问互联网。

因此,在我们搭建云平台的时候需要做以下准备工作:

vmware虚拟机软件centos6.5的安装,虚拟机软件的vmnet配置,nat方式或者桥接方式

先用ifconfig查看目前的活跃网卡,然后修改网卡的ip地址配置

setup配置ip地址(简易图形界面)

 



 

 

接下来我们通过安装secureCRT来连接Linux如图

 

Linux第一步:修改主机名

vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME= ###

 

 

第二步:修改主机名和IP的映射关系

vim /etc/hosts

 

 

第三步关闭防火墙

#查看防火墙状态

service iptables status

#关闭防火墙

service iptables stop

#查看防火墙开机启动状态

chkconfig iptables --list

#关闭防火墙开机启动

chkconfig iptables off

第四步:重启Linux

reboot

 

 

2.安装JDK

步骤一:按住alt+p,就会跳出一个sftp窗口,再加命令:

put d:\~\jdk-7u79-linux-x64.gz

步骤二:

解压jdk

主要命令是:tar -zxvf jdk-7u79-linux-x64.gz -C /app  如图

 

步骤三:java添加到环境变量中

vim /etc/profile

export JAVA_HOME=/app/jdk1.7.0_79

        export PATH=$PATH:$JAVA_HOME/bin

#刷新配置

source /etc/profile

步骤四:安装hadoop-2.5.0

1.先把Hadoop安装包放在服务器上,再次使用sftp机制,按住alt+p,接着put +宿主机上Hadoop安装包的路径,然后解压

 

伪分布式分为五个步骤配置:

配置一:hadoop-env.sh

export JAVA_HOME=/usr/share/jdk1.7.0_79(此处为jdk的路径)

配置二:core-site.xml

 

 

配置三:hdfs-site.xml

 

配置四: mapred-site.xml

 

配置五:yarn-site.xml

 

最后在格式化HDFSHadoop命令为hadoop namenode -format

注:我们会发现没有用,因为我们还没有配置环境变量,因此格式化之前我们应该先配置一下Hadoop的环境变量。在Hadoopbin目录下,输入sudo  vi/etc/profile

Export HADOOP_HOME=/(此处为hadoop的安装目录)/hadoop-2.5.0

Export Path=$PATH:$HAOOP_HOME/bin:$HADOOP_HOME/bin

最后为了是它生效,我们输入命令source/etc/profile

然后再格式化即完成。

好了  顺利结束了,我们可以用简单wordCount来验证。

展开阅读全文

没有更多推荐了,返回首页