CentOS6.5--Hadoop伪分布式配置(分享血泪教训)

前言:

历时两周才把jdk和hadoop安装好,中间断断续续,不过也是服了自己的动手能力。网上有很多教程,相信按照某一个做都会成功,奈何我就是那个不停在换教材的孩子。越绕越远,一言难尽。下面是我结合自己所跟教程,对它的一点补充,和对遇到问题及其解决办法的总结。

正题:

一、CentOS6.5的安装
这个在网上有很多,就不做赘述了。其中更改语言和联网问题可以看我的另外两篇文章。
https://blog.csdn.net/qq_44812523/article/details/105272457
https://blog.csdn.net/qq_44812523/article/details/105225660
下面介绍JDK和Hadoop的安装,必须要说的是如何把Windows系统的文件上传至CentOS系统
自己尝试成功过secureCRT,但是后来因为不想配置IP,所以只能用笨法子了。
在Windows系统中将文件通过QQ邮箱发给自己,然后在CentOS系统中登录邮箱,下载文件就可以了。

先挂出我所跟的教程:
https://www.linuxidc.com/Linux/2017-06/144884.htm
二、JDK的安装
1、检测是否安装了jdk
命令:rpm -qa | grep java
如果显示了jdk的版本,则需要先将其删除
删除命令:rpm -e --nodeps jdk版本
2、解压安装jdk
命令:tar -zxvf jdk压缩包 -C 解压位置
例:$ tar -zxvf jdk-8u131-linux-x64.tar.gz -C /opt/modules/
3、配置环境变量
命令:vi etc/profile
进入文件之后,输入
export JAVA_HOME=/opt/modules/jdk1.8.0_131
(“=”后面跟的是jdk文件解压位置)
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin
保存退出文件
4、输入命令:source /etc/profile
5、输入命令:java -version 检查jdk是否安装完毕

三、Hadoop的安装
1、如jdk所示,解压安装包(我是把hadoop和jdk放在了一个文件路径中)
命令:tar -zxvf hadoop-2.6.5.tar.gz -C /opt/modules/
2、切换到/opt/modules/hadoop-2.6.5 目录下,
输入命令:vim etc/hadoop/hadoop-env.sh
在文件中输入 :export JAVA_HOME=/opt/modules/jdk1.8.0_131
后续的步骤大家直接根据教程做就可以了。
https://www.linuxidc.com/Linux/2017-06/144884.htm

下面说一下我的教训
1、编辑 etc/hadoop/core-site.xml 之类的文件时,尽量切换到hadoop-2.6.5位置下。或者是直接切换到 hadoop-2.6.5/etc/hadoop位置上 进行vim编辑
2、在配置etc/hadoop/core-site.xml 文件时,需要先知道自己的用户名,可以在终端中使用命令:hostname来查看。
如下图中的hadoop01.zjl.com就是用户名,大家不要照抄
在这里插入图片描述
3、在启动namenode时,出现无法启动的情况。
建议看一下问题原因,一大堆英文不想全看,不过里面确实会有错误原因,知道之后会更好寻找对策。可以重点看一下运行停顿的附近。
比如说我遇到的问题是
Starting namenodes on [hadoop]
hadoop: ssh: Could not resolve hostname hadoop: Name or service not known
原因是我在填写配置文件时,没有用自己的用户名,导致第二条中提到的文件配置错误。修改过对应语句后,在终端输入 sbin/start-dfs.sh后,再输入jps,查看一下是否显示下图结果
在这里插入图片描述
4、在编辑文件保存退出时,出现Press ENTER or…的字样,可以将原本应该输入的“:wq"改成输入”:q!",这样就可以强制退出了。

注:大家在跟教程的时候,一定要清楚自己的下载路径是什么,不要在编辑配置文件时盲目写教程上的内容,如果路径不对的话,容易出现错误。
后期继续补充

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值