bay233的博客

转载：https://blog.csdn.net/weixin_42342456/article/details/85165413

本章会很长很长很长，请耐心观看。基本知识回顾Hadoop大致是由三部分的组件组成的，分别为HDFS，MapReduce，yarn。HDFS本质上是文件管理系统，HDFS大致又可以分为两个部分，NameNode（NN），DataNode（DN），NameNode为主节点或者说是Master节点，负责管理DataNode，NameNode同时只能有一个在工作，否则就会发生‘脑裂’。而DataNode则是具体存储数据的节点，DataNode可以是很多，数据是以块保存的，Hadoop2.x默认为128MB一块

本文章是在window平台上安装四个虚拟机作为学习大数据平台的集群前提准备1.安装虚拟机软件VMware，这里提供一个安装教程链接参考2.获取一个Linux镜像，我这里使用的是CentOS7 64位,提供一个参考链接安装CentOS先创建一个文件夹，方便管理集群点击左上角文件新建虚拟机，选择典型，下一步选择自己的虚拟机镜像，下一步全名随便，用户名也是自取，密码最好简单点我这里是a，root用户也是使用这个密码，下一步虚拟机名，我这里为node1，也建议大家也使用，选择空间够大的安装

这是因为ip地址配置出现的问题，在我们配置core-site.xml文件时经常使用localhost表示本机在/etc/hosts 文件映射中 localhost 映射的一般是 127.0.0.1， 表示本地地址，这样配置也会导致只有在本地才能访问到9000 端口（通过netstat -ntlp 查看端口与地址的绑定），所以我们在自己电脑中的java程序虽然能访问到服务器但是不能访问9000...

写这篇文章是为了记录我自己在云平台上学习安装的过程，希望能为其他的同学提供一点帮助：服务器类型这里我使用的服务器有：node1 阿里云（学生机）Ubuntu （NameNode）node2 百度云（学生机）CentOs （SecondaryNamenode，datanode）node3 华为云（学生机）CentOs （datanode）node4 腾讯云（学生机）CentOs...

在这里分享一下的遇到这种情况的解决方案，希望有你有所帮助可能是因为端口没有打开可以使用打开一下ssh连接sudo ufw allow 22如果有这个指令请用下面两条指令下载sudo apt-get updatesudo apt-get install ufw打开后再连接一下如果tomcat，mysql等一些软件突然连接不上也可以用sudo ufw allow ‘软件端口’...