学习篇-Hadoop-单机单节点环境搭建.md

一、Hadoop-环境搭建

• 使用的Hadoop相关版本：CDH 注意选择一个版本之后，所有后续集成框架的版本都是对应的版本

• CDH相关软件包下载地址：
  http://archive.cloudera.com/cdh5/cdh/5/

• 单节点搭建
  http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/hadoop-project-dist/hadoop-common/SingleCluster.html

• Hadoop安装前置要求

  • Java 1.8+
  • ssh

• 安装Java

  • 拷贝本地软件包到服务器：scp jdk-8u202-linux-x64.tar.gz root@139.129.240.xxx:/big_data_learn/software/
  • 解压jdk到/app/：tar -zxvf jdk-8u202-linux-x64.tar.gz -C /big_data_learn/app/
  • 把jdk配置系统环境变量中：～/.bash_profile

        export JAVA_HOME=/home/root/app/jdk1.8.0_202
        export PATH=$JAVA_HOME/bin:$PATH
        export PATH 
    

  • 使配置修改生效：source .bash_profile
  • 验证：java -version

• 安装ssh无密码登陆

  • ssh-keygen -t rsa 一路回车
  • cat id_rsa.pub >> authorized_keys
  • chmod 600 authorized_keys
    
  • 效果
    
  • 参考

• Hadoop(HDFS)安装

  • 下载资源

    • wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz

  • 本地文件复制到远程服务器

    • scp local_file remote_username@remote_ip:remote_folder
      • scp hadoop-2.6.0-cdh5.15.1.tar.gz root@139.129.240.xxx:/big_data_learn/software/

  • 解压文件tar

    • tar -zvxf xxx.tar.gz -C 解压路径
      • tar -zvxf hadoop-2.6.0-cdh5.15.1.tar.gz -C /big_data_learn/app/

  • 添加HADOOP_HOME/bin到系统环境变量

    • 环境配置

     export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.15.1
     export PATH=$HADOOP_HOME/bin:$PATH
     export PATH            
    

    • 生效

    source xxx
    

  • 修改Hadoop配置文件

    • hadoop-env.sh[etc/hadoop/hadoop-env.sh]

     export JAVA_HOME=/home/root/app/jdk1.8.0_202            
    

    • core-site.xml[etc/hadoop/core-site.xml]

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:8020</value>
         </property>
     </configuration>
    

    • hdfs-site.xml[etc/hadoop/hdfs-site.xml]

      • 配置默认副本数

        	 <configuration>
               <property>
                   <name>dfs.replication</name>
                   <value>1</value>
               </property>
         	</configuration>
        

      • 配置数据路径，查看core-default.xml属性hadoop.tmp.dir

        <configuration>
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/big_data_learn/app/tmp</value>
            </property>
        </configuration>
        

      • slaves

  • 启动HDFS

    • 第一次执行的时候一定要格式化文件系统，不要重复执行命令：hdfs namenode -format
    • 启动集群:$HADOOP_HOME/sbin/start-dfs.sh
    • 验证：
      - 第一种方式：jps
      - 第二种方式：hdfs的默认端口是50070，使用ip:端口访问 这种方式需要关注防火墙问题
      

• Hadoop软件包常见目录说明

  • bin：hadoop客户端名单
  • etc/hadoop：hadoop相关的配置文件存放目录
  • sbin：启动hadoop相关进程的脚本
  • share：常用案例

• 注意：start/stop-dfs.sh 与hadoop-daemons.sh的关系

  • start-dfs.sh
    • hadoop-daemons.sh start namenode
    • hadoop-daemons.sh start datanode
    • hadoop-daemons.sh start secondarynamenode
  • stop-dfs.sh
    • hadoop-daemons.sh stop namenode
    • hadoop-daemons.sh stop datanode
    • hadoop-daemons.sh stop secondarynamenode