hadoop单机安装

下载hadoop-2.8.0
    /application/xuteng/package 根目录

    
                  

mkdir /usr/local/app/

`tar-zxvf hadoop-2.8.0.tar.gz  -C/usr/local/app/ 

修改配置文件

cd /usr/local/app/hadoop-2.8.0/etc/hadoop

hadoop-env.sh

vim hadoop-env.sh

修改JAVA_HOME

vim core-site.xml 修改这个文件

fs.defaultFS 配置hadoop 默认文件和文件路径 使用hadoop默认目录

hadoop.temp.dir配置hadoop工作目录,我把他放在了安装目录下这个可以随便放

<configuration>

       <property>

               <name>fs.defaultFS</name>                  

               <value>hdfs://192.168.1.173:9000</value>

       </property>

       <property>

               <name>hadoop.tmp.dir</name>

               <value>/usr/local/app/hadoop-2.8.0/tmp/</value>

        </property>

</configuration>

vim hdfs-site.xml

dfs.replication 这个是hadoop文件系统他会保存多个文件副本到多个hadoop服务器默认3个，因为部署的是单机所有值给他设置1

<configuration>

 <property>

      <name>dfs.replication</name>

      <value>1</value>

 </property>

</configuration>

配置mapred-site 里面有个临时文件把他重命名

mv mapred-site.xml.template mapred-site.xml

 

vim mapred-site.xml

mapreduce.framework.name mapreduce他是一个编程框架，必须指定执行这个程序的一个平台，平台是yarn

<configuration>

         <property>

             <name>mapreduce.framework.name</name>

             <value>yarn</value>

          </property>

</configuration>

vim yarn-site.xml

<configuration>

         <property>

              <name>yarn.resourcemanager.hostname</name>

              <value>192.168.1.173</value>

         </property>

         <property>

              <name>yarn.nodemanager.aux-services</name>

              <value>mapreduce_shuffle</value>

         </property>

</configuration>

vim slaves这个地方也是以后配置集群的重要文件

localhost 改成 192.168.1.173（你的主机名）

 

./bin/hdfs namenode -format  格式化hdfs文件系统(注意这个命令版本变更过)

cd ../sbin/

./hadoop-daemon.shstart namenode 启动hdfs主进程

./hadoop-daemon.sh start datanode 启动hdfs 数据节点进程

./hadoop-daemon.sh start secondarynamenode

Jps 查看启动的几个服务

http://192.168.1.173:50070/ 文件系统目录看有无成功

 

 

启动yarn服务

./yarn-daemon.sh startresourcemanager 启动yarn主节点

./yarn-daemon.sh start nodemanager 启动从节点进程

Jps 启动完

./start-dfs.sh 启动hdfs 统一命令 启动完会不断输入本机root密码

Jps 启动成功

成功是成功了就是老是要输密码很麻烦 用密钥进行登录

ssh-keygen 生成密钥对

ssh-copy-id 192.168.1.173 把密钥对复制到173主机 当然173是我本机

./stop-dfs.sh 暂时停掉dfs

./start-dfs.sh 再启动就不需要输入密码了

./start-yarn.sh 最后启动yarn服务

Jps 启动成功