hadoop学习(一)配置单节点hadoop环境

想要搞大数据,那么hadoop是必不可少的知识,拖了很久,终于下定决心学习大数据相关的东西,那么今天就从hadoop开始。
我的环境:Linux CentOS6.5/x-shell5/jdk1.8/hadoop-2.7.2

第一步:(不要忘记装jdk,hadoop是java写的,所以必须要装jdk,否则不能运行)
我这里选择的是hadoop-2.7.2.tar.gz,这个是最大的一个包,里面应该是比较全的东西,第一个是源码,这里暂且不管它。

第二步:安装
使用pscp将下载的hadoop包上传至linux服务器,我这里是使用的局域网上传,模拟远程服务器,至于pscp是什么,度娘去找
我喜欢将软件安装在/usr/local/目录下,这里新建了一个目录programs

上传完成之后,运行命令tar -zxvf hadoop-2.7.2.tar.gz将hadoop安装包解压缩到当前目录会出现hadoop-2.7.2目录(上图蓝色部分左一)


第三步:配置hadoop
我这里电脑有限,就不配置集群了,按照官方文档来,先配置一个单节点hadoop,单节点的hadoop不影响MapReduce和HDFS(Hadoop Distributed File System)等的使用

切到hadoop-2.7.2目录执行vi etc/hadoop/hadoop-env.sh这里需要配置一下JAVA_HOME如果安装好jdk的童鞋请自觉配置JAVA_HOME否则就要在这里指定java的路径,我在安装jdk的时候已经配置过JAVA_HOME这里就不做配置了
上图上面蓝色框内写的很清楚,唯一必须的环境变量就是JAVA_HOME其他的都是可选的。如果你的jdk没配置JAVA_HOME这里直接把${JAVA_HOME}改成你的jdk路径就行了,比如我的/usr/local/programs/jdk1.8.0_91
配置完了之后直接esc然后英文半角冒号,输入w确认键保存,然后冒号q!确认键退出vim即可。

配置完成之后,在命令行运行bin目录下的hadoop命令,你会看到一些hadoop脚本的文档提示


至此,单节点hadoop配置完成!

接下来就是hadoop的三种集成方式了:
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值