Hadoop

Hadoop的安装

一：Linux安装伪分布式hadoop

• window下载好hadoop压缩包传输到linux中，并且在linux中解压

• 配置环境变量：

    vim ~/.bash_profile
  

  # JAVA  ENV
  export JAVA_HOME=/usr/java/jdk1.7.0_80/
  PATH=$JAVA_HOME/bin:$PATH
  
  # Hadoop  ENV
  export HADOOP_HOME=/home/app/hadoop-2.10.0/
  PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
  

• 使 ~/.bash_profile文件生效

  source ~/.bash_profile
  

• 测试安装是否成功

    java -version
    hadoop
  

• 进入hadoop/etc/hadoop目录中修改配置文件

  • 修改hadoop_env.sh

    ......
     export JAVA_HOME=/usr/java/jdk1.7.0_80/
    ......
    

  • 修改hdfs-site.xml

      <configuration>
         <property>
              <name>dfs.replication</name>
              <value>1<value>
         </property>
         <property>
              <name>dfs.permissions</name>
              <value>false</value>
         </property>
      </configuration>

• 修改core-site.xml

      <configuration>
        <property>
              <name>fs.defaultFS</name>
              <value>hdfs://hadoop:9000</value>     //hadoop换成你当前的主机名
         </proerty>
         <property>
              <name>hadoop.tmp.dir</name>
              <value>/home/app/tmp</value>          //在hadoop同级目录下建一个tmp文件夹   </proerty>
      </configuration>

• 修改mapred-site.xml

  因为本机无该文件，需要复制一份模板： cp mapred-site.xml.template mapred-site.xml  
  

      <configuration>
        <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
        </property>
      </configuration>

• 修改yarn-site.xml

      <configuration>
        <!--指定yarn的老大（ResourceManager的地址）-->
         <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>hadoop</value>
         </property>

      <!--mapreduce执行shuffle获取数据的方式 -->
         <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
         </property>
      </configuration>

• 初始化HDFS(格式化HDFS) 格式化namenode

     hdfs namenode -format
  

• 启动服务

     start-dfs.sh
  

• 查看java进程状态

     jsp
  

• 启动成功之后有以下三个进程才算启动成功：

     DataNode
     NameNode
     SecondaryNameNode
  

• 停止所有进程

    	stop-all.sh