大数据平台开发大作业20172834谢宏明

Hadoop安装过程：

（1）在VMware中安装了CentOS，修改网络连接为仅主机模式：与主机共享的专用网络。

（2）启动Linux系统，进行Linux系统中的IP地址、网关、子网掩码。

（3）修改主机名，将主机名和IP地址进行绑定

（4）关闭防火墙

（5）配置SSH免密码登陆

（6）安装jdk

详细：

Linux的安装命令：rmp；yum;tar

（1）用rpm装jdk：

  -rpm -i jdk-7u67-linux-x64.rpm

  -whereis java

  -vi + /etc/profile

  export JAVA_HOME=/usr/bin/java

  export PATH=$PATH:$JAVA_HOME/bin

  -source /etc/profile

 

（2）免秘钥

  -ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

  -cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

之后进行验证

-ssh localhost  

 -ssh node01 

 

（3）装hadoop2.6.5

  -tar xf hadoop-2.6.5.tar.gz -C /opt/ldy 

 对配置文件进行一些修改：

  export JAVA_HOME=/usr/bin/java

  export HADOOP_HOME=/opt/ldy/hadoop-2.6.5

  export PATH=$PATH:/usr/java/jdk1.7.0_67/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

修改完成后输入hd按Tab键可以联想出hdfs，输入start-d按Tab键可以联想出start-dfs.

 

修改hadoop配置文件信息

  cd /opt/ldy/hadoop-2.6.5/etc/hadoop

  vi hadoop-env.sh

  vi mapred-env.sh

  vi yarn-env.sh 

  给这三个文件里的JAVA_HOME都改成绝对路径/usr/java/jdk1.7.0_67 

 

配置 vi core-site.xml    

    <property>

    <name>fs.defaultFS</name>

     <value>hdfs://node03:9000</value>

     </property>

     <property>

     <name>hadoop.tmp.dir</name>

     <value>/var/ldy/hadoop/pseudo</value>

     </property> 

配置 vi hdfs-site.xml

   <property>

   <name>dfs.replication</name>

   <value>1</value>

   </property>

    <property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>node03:50090</value>

    </property>

配置slaves文件

       vi slaves

       node03

（4）格式化hdfs

  hdfs namenode -format 

（5）启动集群

  start-dfs.sh

（6）创建目录：hdfs dfs  -mkdir -p  /user/root

（7）上传文件： hdfs dfs -put  a.txt   /user/root

（8） 停止集群：stop-