Hadoop安装

安装JDK

https://mp.csdn.net/postedit/103292614

 

安装Hadoop

https://mp.csdn.net/postlist

下载、解压

进入到hadoop目录下的 /etc/hadoop/内

修改

        hadoop-env.sh

          添加JAVA_HOME

        core-site.xml

          集群地址、目录地址、避免使用默认重启系统导致数据丢失

         <property>
                  <name>fs.defaultFS</name>
                  <value>hdfs://localhost:8020</value>
         </property>

         <property>
                 <name>hadoop.tmp.dir</name>
                 <value>目录</value>
         </property>

        hdfs-site.xml 

         设置副本数量，hadoop默认为3，如果一台则设置为1

         <property>
                <name>dfs.replication</name>
                <value>1</value>
         </property>

         mapred-site.xml

         <property>
                 <name>mapreduce.framework.name</name>
                 <value>yarn</value>
         </property>

         yarn-site.xml

         <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
         </property>

         slaves

            集群内机器映射   a1,a2,a3

配置免密登录

ls -a

ls -la

查看根目录下是否有.ssh目录

 

ssh localhost

yes 输入密码登录

exit 退出

执行 ssh-keygen -t rsa 一路回车

会在.ssh目录中生成对应秘钥和私钥

id_rsa  私钥

id_rsa.pub 公钥

 

复制公钥cat id_rsa.pub >> authorized_keys

设置权限chmod 600 authorized_keys

 

到bin目录下执行格式化命令，不要重复执行

hdfs namenode -format

 

启动集群：$HADOOP_HOME/sbin/start-dfs.sh

验证

   jps查看进行，有NameNode、DataNode、SecondaryNameNode

http://localhost:50070
        如果发现jps ok，但是浏览器没有？ 十有八九是防火墙问题
        查看防火墙状态：sudo firewall-cmd --state
        关闭防火墙: sudo systemctl stop firewalld.service
        禁止防火墙开机启动：

 

         systemctl stop firewalld.service  

         systemctl disable firewalld.service