Hadoop学习第一天之伪分布式(总结)

建议新手可以看看我写的这些。   

       作为大数据时代的数据处理平台，大数据学生学习Hadoop已是确切的要求，所以今天我学习了Hadoop的伪分布式。对于伪分布式的概念，百科上也没有给出详细的说法，当然我才接触也不太懂，但是我就觉得伪分布式就是集群的缩小版，它只在一台主机上实现分布式，是学习集群的基础。因为学习任何东西都是由浅到深的，所以Hadoop的学习也是一样的。我们学习Hadoop最先接触的可能就是这几个名词HDFS: Hadoop Distributed File System 分布式文件系统，YARN: Yet Another Resource Negotiator资源管理调度系统，MAPREDUCE，可能你很陌生它们几个，对于它们的概念我现在也不清楚，但是可以通过一张图来解释它们在Hadoop中的关系，如下图：

了解过概念我们就该准备搭建环境了，首先肯定是安装虚拟机Ubuntu和CentOS系统选哪个都可以，没什么不行的，我个人喜欢CentOS所以就装了这个，因为刚开始学的时候我们都喜欢用桌面版的，这里有个注意事项就是你在选择以桌面方式安装的时候，右边有其他选项让你提前安装软件和环境，这里最好那个选项都别选，因为后续可能会影响到JDK的安装。准备好之后就需要准备环境了，首先我们需要关闭防火墙，但是一般的话执行systemctl stop firewalld.service会关闭，但是不是永久的关闭，重启机器后还是会开启，所以应该执行systemctl disable firewalld.service来永久关闭。

伪分布模式安装步骤：

• 关闭防火墙：systemctl disable firewalld.service
• 修改ip：设置为静态ip
• 修改hostname：设置ip映射
• 安装jdk：主要是配置路径JAVA_HOME，配置完别忘了source下
• 安装hadoop：安装之后你要懂得他下面的文件里面都是干啥的，例如etc目录配置文件都在里面，而且正确配置文件十分重要。
• 设置ssh自动登录

还有就是想总结下几点你启动后发现没有NAMENODE节点的问题，如果你启动过程中发现WARN出现，那么这就是你的配置文件里面缺少<property></property>标签，而对于NAMENODE你要注意它是不是说链接不上主机错误(一般这种错误你会发现logs目录下没有关于namenode的日志文件，正常是应该有的)，这种就是你的主机ip映射配置错了，看看你的ip和主机名啥的是否正确(vim /etc/hosts)，而另外的情况就是你的配置文件不对，这种错误一般对于新手来说你不容易发现，所以我推荐你还是去看日志文件，logs目录下，你可能会发现你的错误是端口被占用了啥的，如果不是，去百度下解决方法就行了。