基于Hadoop的云存储系统

一、开发环境

      Myeclipse10+jdk7+tomcat7+Mysql5.5

二、集群配置情况：

1、机器配置

服务器节点	CPU	内存	硬盘
Master	Intel Core i5	4GB	1T
Slave1	Intel Core i5	4GB	1T
Slave2	Intel Core i5	4GB	1T
Slave3	Intel Core i5	4GB	1T
Mysql+Tomcat	Intel Core i5	4GB	1T

2、节点角色分配

主机名	IP	角色
Master	10.5.0.230	NameNode、ResourceManager、SecondaryNameNode
Slave1	10.5.0.231	DataNode、NodeManager
Slave2	10.5.0.232	DataNode、NodeManager
Slave3	10.5.0.233	DataNode、NodeManager

3、集群架构图

     

4、集群配置与测试

          Hadoop集群使用Ubuntu Server版本操作系统，Mysql+Web服务器使用Ubuntu Desktop版，Mysql5.5、Tomcat7与Myeclipse2014安装在Mysql+Web服务器上。本集群使用Cloudra Hadoop开发的hadoop-2.6.0-cdh5.4.1 版本软件。

  

    1) 配置Hadoop参数文件hadoop-env.sh

       cd $HADOOP_HOME/etc/hadoop

       sudo vi hadoop-env.sh

       修改JAVA_HOME的值

       export JAVA_HOME=/usr/lib/jvm/oracle-java8-installer

    2) 配置masters参数文件

       sudo vi masters

       Master

    3) 配置slaves参数文件

        sudo vi slaves

       Slave1

       Slave2

       Slave3

    4) 配置参数文件core-site.xml

     <configuration>

           <property>

                <name>fs.default.name</name>         <value>hdfs://Master:9000</value>

           </property>

           <property>

                <name>hadoop.tmp.dir</name>          <value>file:/usr/local/cloudera/hadoop_tmp/tmp</value>

           </property>

           <property>

                <name>io.file.buffer.size</name>     <value>131072</value>

           </property>

           <property>

                <name>hadoop.native.lib</name>       <value>true</value>