linux下的hadoop 2.7.1配置 单机伪分布

配置免密登录

在/etc/hosts文件中添加自己的主机名称和ip映射 查看自己的ip是 ifconfig

如: 192.168.1.1 hadoop 

前面是自己的主机的ip地址 后面是 主机名称

查看配置是否正确 # ssh [主机名] 

# ssh 192.168.1.1 或者# ssh hadoop

然后设置免密登录操作

# ssh-keygen 生成公私钥文件

将公钥文件发送到远程主机或本机

# ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop

或者 

# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

环境安装:

jdk下载:

解压缩jdk安装包

# tar -xvf jdk包名

配置jdk环境变量:

# vim /etc/profile

在文本的最后添加 

1. JAVA_HOME=jdk安装目录
2. PATH=$PATH:$JAVA_HOME/bin
3. export JAVA_HOME PATH

保存退出 并且执行 source /etc/profile 是配置文件立即生效

下载hadoop安装包:

解压安装包 同jdk解压

配置hadoop文件:

# cd hadoop包名/etc/hadoop

配置 hadoop_env.sh:

在文件中配置java_home和hadoop配置文件的所在目录

1. export JAVA_HOME=/home/software/jdk1.8
2. export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop

保存退出

配置core-site.xml

<property>
                <name>fs.default.name</name><!--设置提供HDFS服务的主机名和端口号，即NameNode运行的节点  hadoop是指你的主机名-->
                <value>hdfs://hadoop:9000</value> 
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/software/hadoop-2.7.1/tmp</value><!--设置hadoop文件系统的依赖信息-->
</property>

配置hdfs-site.xml

<property>
         <name>dfs.replication</name><!--设置hadoop文件的副本个数 -->
         <value>1</value>
 </property>
 <property>
         <name>dfs.permissions</name>
         <value>false</value>

 </property>

配置mapred-site.xml

# cp mapred-site.xml.tmpplate mapred-site.xml

<property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>

  </property>

配置yarn-site.xml

<property>
         <name>yarn.resourcemanager.hostname</name>
         <value>hadoop</value><!--配置hadoop resourcemanager 的主机名称    就是你的namenode节点的节点的名称-->
 </property>
 <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>

 </property>

配置slaves 这个文件主要是指定 哪个机器是 datanode 节点 文件中 指定的是主机名

hadoop <!-- 指以hadoop主机为datanode 节点 -->

配置hadoop 环境变量

HADOOP_HOME=/home/software/hadoop-2.7.1

PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

export PATH JAVA_HOME HADOOP_HOME

最后执行 # source /etc/profile 使配置文件生效

格式化namenode 如果配置了环境变量 可以直接敲命令

# hadoop namenode -format

或者在hadoop根目录执行# ./sbin/hadoop namenode -format

格式化完成后

# start-all.sh 启动hadoop

然后检查是否启动成功了

# jps

如果出现 6个进程就表示启动成功了

1. SecondaryNameNode
2. DataNode
3. NodeManager
4. ResourceManager
5. Jps
6. NameNode

然后就可以执行hadoop命令了

如:# hadoop dfsadmin -report 

查看你的存活的datanode节点信息

结束了