云计算基础（二）：Hadoop单机、伪分布、集群配置

Linux机器分布式配置、SSH配置、公用/私有密钥配置；

Hadoop单机配置；

Hadoop伪分布式集群配置；

Hadoop集群配置；

基准程序评估Hadoop集群性能

1、掌握Linux机器分布式配置、SSH配置、公用/私有密钥配置；

    在完成虚拟机的免密钥登陆之前，先安装SSH服务

   sudo apt-get update

   sudo apt install openssh-server

   然后通过/usr/sbin/sshd 打开SSH服务

  

   ifconfig

   分别查看虚拟机ip地址

选定master(mac)和slave(两台ubuntu虚拟机) ，这次实现循环双向登陆。

  在master和slave 上分别执行下面的命令

  ssh-keygen -t rsa -P '' -f/home/username/.ssh/id_dsa

  在master的/home/username/.ssh目录下，执行 ：

  cat id_rsa.pub> authorized_keys

  将master上的authorized_keys拷贝到其中一个slave的相同目录下。命令:

  scp /Users/username/.ssh/authorized_keys username@172.16.75.128:/home/username/.ssh/

  把ip地址为172.16.75.128的slave的信息加入到authorized_keys：

  cat id_rsa.pub >> authorized_keys

  把ip地址为172.16.75.128的slave的authorized_keys拷贝到ip地址为172.22.140.244的slave的信息加入authorized_keys：

   scp  /home/ username /.ssh/authorized_keys username @172.22.140.244:/home/username /.ssh/

   cat id_rsa.pub >> authorized_keys

   此时authorized_keys拥有所有机器的id_rsa.pub，那么把他scp到其他节点上即可：

   scp  /Users/ username /.ssh/authorized_keys username @172.22.138.171:/home/username /.ssh/

   scp  /home/ username /.ssh/authorized_keys username @172.16.75.128:/home/username /.ssh/

   此时，所有节点的id_dsa.pub 都必须加入到authorized_keys中，所以，所配置的三台机器都可以免密钥登陆了。

2、hadoop的单机、伪分布、分布式集群配置；

   按照实验要求下载java 环境和 Hadoop 版本

   配置java环境变量

   sudo gedit /etc/profile

   加入下面的内容

   export JAVA_HOME=/usr/lib/jdk1.8.0_121/

   export JRE_HOME=$JAVA_HOME/jre

   exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

   export PATH=$JAVA_HOME/bin:$PATH

  

   执行下面的命令让更改生效

   source /etc/profile

   

   查看安装好的java 版本

   java –version

Hadoop单机配置

   接下来执行命令：sudo gedit ／etc／sudoers

   在root ALL=(ALL:ALL)ALL 下一行增加以下内容

   zhaojing ALL=(ALL:ALL) ALL

   保存并关闭文档

  

   接下来解压hadoop-2.6.4

   tar -zxvf hadoop-2.6.4.tar.gz

   sudo mv hadoop-2.6.4 /usr/local/hadoop-2.6.4

  

   设置hadoop环境变量

   sudo gedit /etc/profile

   加入下面的内容

   export HADOOP_HOME=/usr/local/hadoop-2.6.4

   export PATH=$PATH:$HADOOP_HOME/bin

   export PATH=$PATH:$HADOOP_HOME/sbin

   export HADOOP_MAPRED_HOME=$HADOOP_HOME

   export HADOOP_COMMON_HOME=$HADOOP_HOME

   export HADOOP_HDFS_HOME=$HADOOP_HOME

   export YARN_HOME=$HADOOP_HOME

   exportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

   export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

 

   执行下面的命令让更改生效

   source /etc/profile

 

   查看安装好的hadoop 版本

   hadoop version

Hadoop 伪分布配置

  sudo vi/usr/local/hadoop-2.6.4/etc/hadoop/core-site.xml

  插入下面的内容

  <property>

        <name>fs.default.name</name>

       <value>hdfs://localhost:9000</value>

  </property>

 

  sudo vi/usr/local/hadoop-2.6.4/etc/hadoop/yarn-site.xml

  插入下面的内容

  <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

  </property>

  <property>

        <name>yarn.nodemanager.aux-  services.mapreduce.shuffle.class</name>

       <value>org.apache.hadoop.mapred.ShuffleHandler</value>

  </property>

 

  cd /usr/local/hadoop-2.6.4/etc/hadoop

  cp mapred-site.xml.template mapred-site.xml

  sudo vi mapred-site.xml

  插入下面的内容

  <property>

       <name>mapreduce.framework.name</name>

        <value>yarn</value>

  </property>

 

  sudo vi hdfs-site.xml

  插入下面的内容

  <property>

       <name>dfs.replication</name>

       <value>1</value>

  </property>

  <property>

      <name>dfs.namenode.name.dir</name>

      <value>file:/usr/local/hadoop-2.6.4/hdfs/name</value>

  </property>

  <property>

      <name>dfs.datanode.data.dir</name>

      <value>file:/usr/local/hadoop-2.6.4/hdfs/data</value>

  </property>

 

  接着执行格式化hdfs

  hdfs namenode -format

显示格式化成功。

 

  接着通过sbin/start-dfs.sh和sbin/start-yarn.sh启动管理

接下来就可以在网页中查看安装好的hadoop伪分布了。

3、以及用基准程序评估Hadoop集群性能。

   测试内容

   cd /usr/local/hadoop-2.6.4/

   bin/hadoop fs -mkdir -p input

   hadoop fs -copyFromLocal README.txt input

   hadoop jarshare/hadoop/mapreduce/sources/hadoop-mapreduce-   examples-2.6.4-sources.jarorg.apache.hadoop.examples.WordCount   inputoutput

hadoop fs -cat output/* 

测试完成之后，通过sbin/stop-dfs.sh 对hadoop进行关闭。