Hadoop（一）伪分布

1.在win7电脑上安装VMware,然后在VMware中安装centos。（过程略）

2.关闭防火墙

其中指令：

service iptables stop 关闭防火墙

service iptables status 查看防火墙状态

chkconfig --list | grep iptables  输出 所有服务列 并 过滤防火墙部分（其中有开启状态说明防火墙在某些情况会被打开）

chkconfig iptables off 关闭防火墙状态（使用后防火墙完全关闭）

3.SHH免密码登录

其中指令：

ssh-keygen -t rsa 产生秘钥，位于 ~/.ssh文件夹中（rsa为加密方式）

加密后生成id_rsa(私钥)和 id_rsa.pub(公钥)

cp id_rsa.pub authorized_keys

(复制公钥改名authorized_keys,因为ssh验证的时候会自动读取authorized_keys文件)

ssh localhost 自己免密码登录自己（可以测试下）

4.安装JDK（hadoop运行在JDK上的）

    4.1 使用FTP把hadoop安装包和JDK传到linux文件夹下

    4.2 解压JDK并设置系统环境

其中指令：

rm -rf * 删除当前文件下所有文件

cp /root/downloads/* . 复制downloads文件夹下所有文件到当前文件夹下

java -version 查询java版本

rpm -e --nodeps jdk版本号 清除原有的jdk

tar -xzvf JDK的gz压缩包 解压jdk

vi ~/.bashrc 修改配置文件，增加JDK相关配置信息

source ~/.bashrc 让配置文件立即生效

下图为传输安装文件

下图为清除原有的JDK

5.安装hadoop

    5.1解压hadoop tar -zxvf hadoop-1.1.2.tar.gz

    5.2重命名mv hadoop-1.1.2 hadoop

    5.3修改profile文件 vi /etc/profile(增加HADOOP_HOME和PATH)

    5.4让profile文件立即生效source /etc/profile

    5.5修改hadoop配置文件,位于$HADOOP_HOME/conf目录下

        5.5.1 hadoop-env.sh

        5.5.2 core-site.xml

        5.5.3 hdfs-site.xml

        5.5.4 mapred.xml

    5.6执行命令 hadoop namenode -format 对hadoop进行格式化

    5.7执行命令start-all.sh进行启动命令（在HADOOP_HOME/bin目录下）

    5.8执行命令jps查询java进程（除了jps本身外，有五个进程，说明hadoop启动的是java进程）

    5.9也可以在linux中打开火狐输入hadoop:50070进行查看namenode进程(证明namenode存活)

    5.10也可以在linux中打开火狐输入hadoop:50030进行查看Map/Reduce(证明jobtracker存活)

hadoop-env.sh 修改如下图：

core-site.xml 修改如下图：

hdfs-sit.xml修改如下图：

mapred-site.xml修改如下图：

进程在跑，证明配置成功！！！

转载于:https://my.oschina.net/u/2329948/blog/849030