hadoop 伪分布式安装配置

1》配置JAVA环境

    java -version 查看Java安装的jdk的版本
    rpm -qa | grep jdk （查看安装的jdk）
    rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64 (删除Linux自带的jdk)
    安装jdk
    
    下载jdk jdk-7u79-linux-x64.tar.gz
    解压
    tar -zxf jdk-7u79-linux-x64.tar.gz -C /home/css/opt/modules
    增加环境变量
    vim /etc/profile
    ##JAVA_HOME
    export JAVA_HOME=/home/css/opt/modules/jdk1.7.0_79
    export PATH=$PATH:$JAVA_HOME/bin

    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

 

2》配置ssh免密码登录
主节点配置：
首先到用户主目录（cd ~），ls -a查看文件，其中一个为“.ssh”，该文件价是存放密钥的。待会我们生成的密钥都会放到这个文件夹中。
现在执行命令生成密钥： ssh-keygen -t rsa -P "" (使用rsa加密方式生成密钥)回车后，会提示三次输入信息，我们直接回车即可。
进入文件夹cd .ssh (进入文件夹后可以执行ls -a 查看文件)
将生成的公钥id_rsa.pub 内容追加到authorized_keys（执行命令：cat id_rsa.pub >> authorized_keys）

3》安装hadoop和修改配置文件
    下载hadoop-2.5.0-cdh5.3.6.tar.gz，解压缩
    tar -zxf hadoop-2.5.0-cdh5.3.6.tar.gz -C /home/css/opt/modules

增加环境变量（没有配置 jps查不出运行的进程）
    vim /etc/profile
    ##HADOOP_HOME
    export HADOOP_HOME=/opt/modules/hadoop-2.5.0-cdh5.3.6
    export PATH=$PATH:$HADOOP_HOME/bin

修改hadoop-env.sh,mapred-env.sh,yarn-env.sh配置文件

export JAVA_HOME=/opt/modules/jdk1.7.0_79

 

修改core-site.xml

	<property>
    	    	<name>fs.defaultFS</name>
    	    	<value>hdfs://localhost:8020</value>
    	</property>
	<property>
		<name>hadoop.tmp.dir</name>
        	<value>/opt/modules/hadoop-2.5.0-cdh5.3.6/data/tmp</value>
    	</property>

	注：手动创建目录/opt/modules/hadoop-2.5.0-cdh5.3.6/data/tmp
	
	修改mapred-site.xml(mapred-site.xml.template重命名得到)
	<property>
       		<name>mapreduce.framework.name</name>
        	<value>yarn</value>
    	</property>
   	 <property>
       		<name>mapreduce.jobhistory.address</name>
        	<value>localhost:10020</value>
    	</property>
    	<property>
        	<name>mapreduce.jobhistory.webapp.address</name>
        	<value>localhost:19888</value>
    	</property>

	修改yar-site.xml
	<property>
        	<name>yarn.nodemanager.aux-services</name>
        	<value>mapreduce_shuffle</value>
   	 </property>
	<property>
        	<name>yarn.resourcemanager.hostname</name>
        	<value>localhost</value>
   	</property>
	<property>    
   		<name>yarn.log-aggregation-enable</name>    
    		<value>true</value>    
	</property>

修改slaves
    由于是伪分布式 主节点和从节点都在一台服务器上，所以填写
    localhost
4》namenode格式化
    bin/hdfs namenode -format
5》启动namenode，datanode，resourcemanager，nodemanager，historyserver
    sbin/hadoop-daemons.sh start namenode

    sbin/hadoop-daemons.sh start secondarynamenode
    sbin/hadoop-daemons.sh start datanode
    sbin/yarn-daemons.sh start resourcemanager
    sbin/yarn-daemons.sh start nodemanage
    sbin/mr-jobhistory-daemon.sh start historyserver

可以直接使用sbin/start-all.sh，启动所有组件服务，在hadoop-env.conf目录下配置如下参数即可。

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
 

使用简单的创建目录查看hadoop是否安装成功

  bin/hdfs dfs -mkdir -p /usr/css

 bin/hdfs dfs -ls -R /

看是否在hdfs文件系统上创建文件成功