伪分布式集群搭建

搭建虚拟机

1.建立一个新的虚拟机
2.修改主机名称(为了以后使用方便,也可以不改) vi /etc/sysconfig/network
3.配置网络信息 vi /etc/sysconfig/network-scripts/ifcfg-eth0

其中IPADDR为网路IP地址,NETMASK为网络掩码,GATEWAY是网关,DNS1与网关一样,

---

在这些操作完成之后重启网络服务 : service network restart,完成之后ping一个网址,如ping www.baidu.com 如果ping通了说明网络配置完成

安装hadoop

1. 要进行安装java环境
   将jdk中的安装包通过xftp6上传至linux系统

2. 解压
   tar -zxvf jdk

3. 配置环境变量
   export JAVA_HOME=/opt/software/jdk1.8.0_121
   export PATH=$PATH:$JAVA_HOME/bin

   source /etc/profile-----让环境变量生效
   注：
   用户变量 .bashrc
   系统变量 /etc/profile

4. 上传hadoop包
   tar -zxvf hadoop-2.6.5.tar.gz

5. bin—系统的操作命令（文件的增删改查）
   sbin–系统的管理命令（集群的启动、关闭）
   etc/hadoop—配置信息

    1、slaves---节点（DN）
    2、hdfs-site.xml
    	<property>
    		<name>dfs.replication</name>
    		<value>1</value>
    	</property>
    	
       <property>     
    	  <name>dfs.namenode.secondary.http-address</name>   //secondaryNamenode
    	<value>node01:50090</value>			//这里要改
     </property>
    3、core-site.xml
    <property>
    	<name>fs.defaultFS</name>            //namenode
    	<value>hdfs://node01:9000</value>    		//这里要改
    </property>
    <property>
    	<name>hadoop.tmp.dir</name>          //namenode启动后产生的信息
    	<value>/var/abc/hadoop/local</value>
    </property>
    4、
    	把*-env.sh的文件内部所有的java路径改为绝对路径
       hadoop-env.sh
       mapred-env.sh
       yarn-env.sh
   

   配置免密登录

   (1)配置免密登录  node01->node01
   根目录 cd .ssh
   ssh-keygen -t rsa
   ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
   yes
   ssh 节点名
   

6. 格式化
   cd /opt/software/hadoop-2.6.5/bin/
   hdfs namenode -format-----让所有文件生效
   cd /var/abc/hadoop/local/dfs/name/current/

7. 启动命令
   cd /opt/software/hadoop-2.6.5/sbin
   ./start-dfs.sh
   jsp

8. 配置hadoop的环境变量
   export HADOOP_HOME=/opt/software/hadoop-2.6.5
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin