hadoop cdh2.6.0-5.7.0伪分布式版本搭建详解

   

http://archive.cloudera.com/cdh5/cdh/5/    版本自由选择

 

1 环境准备     

1 安装 rz sz 方便重自己本地 windows 上   上传下载文件

yum install -y lrzsz

2 软件工具装备好

   -rw-r--r--. 1 root root 311585484 Feb 20  2018 hadoop-2.6.0-cdh5.7.0.tar.gz

-rw-r--r--. 1 root root 173271626 Feb 23 17:25 jdk-8u45-linux-x64.gz

 3 进行环境 的安装

     mkdir -p /usr/local/java

     tar –zxvf  jdk-8u45-linux-x64.gz –C /usr/local/java

     mkdir /opt/local

tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C  /opt/local

mv hadoop-2.6.0-cdh5.7.0/ hadoop2.6.0

编辑配置，文件把对应的路径配置成功

vi /etc/profile

export HADOOP_HOME=/opt/local/hadoop-2.6.0

export JAVA_HOME=/usr/local/java/jdk1.8.0_65

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JER_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JER_HOME/bin:$PATH:$HADOOP_HOME/bin

把配置文件生效

source /etc/profile

 java –version 查看 自己版本是否配置成功

配置  地址 把自己的hostname 和 ip地址进行绑定，防火墙

关闭自己机器的防火墙

chkconfig iptables –list 查看哪些没关

chkconfig iptables off 关闭

 

修改自己机器的域名

vi /etc/sysconfig/network

HOSTNAME=hadoop001

Reboot 重启生效

 

hostsname  查看主机名是否修改成功

vi /etc/hosts

192.168.225.100 hadoop001

Reboot 重新启动一下机器

 

2 配置 hadoop 为分布式

 

  1 cd /opt/local/hadoop2.6.0/etc/hadoop

   Vi  vi core-site.xml  核心文件   地址

        

 

     <configuration>

<property>    

 <name>fs.defaultFS</name>

        <value>hdfs:// hadoop001:9000</value> 

    </property>

     <property>

        <name> hadoop.tmp.dir</name>

        <value>/home/hadoop/app/tmp</value>

</property>

</configuration>

 

2 创建目录 Mkdir   /home/hadoop/app/tmp

3 vi hdfs-site.xml  

    

<configuration>

      <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    

</configuration>

4  vi hadoop-env.sh 不配置启动找不到 jdk

export JAVA_HOME=/usr/local/java/jdk1.8.0_45

    5 [root@hadoop001 hadoop]# cp mapred-site.xml.template  mapred-site.xml

[root@hadoop001 hadoop]# vi mapred-site.xml

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

6 vi  vi yarn-site.xml

<configuration>

 

         <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

         </property>

 </configuration>

 

7 vi vi slaves  把主机名称加入表示 datanode 节点

 

配置好了格式化一下

bin/hdfs namenode –format

配置一下 ssh 免密码登陆

 Cd .ssh

输入 ssh-keygen 回车 4 次

-rw-------. 1 root root 1675 Feb 25 05:03 id_rsa

-rw-r--r--. 1 root root  396 Feb 25 05:03 id_rsa.pub

-rw-r--r--. 1 root root  798 Feb 25 05:02 known_hosts

cat id_rsa.pub >> authorized_keys

chmod 600 authorized_keys

         ssh + ip 或者域名 第一次输入需要密码 第二次 不需要了

启动 sbin/start-dfs.sh

Jpd  命令   出现

8068 NameNode

8373 SecondaryNameNode

8551 ResourceManager

8649 NodeManager

8206 DataNode

24174 Jps

 

http://47.98.125.62:50070/dfshealth.html#tab-overview   能出现图形化界面证明安装成功

 

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/29101975/viewspace-2637250/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/29101975/viewspace-2637250/