Hadoop学习(3)-Hadoop配置单机版

部分内容来自于博客;http://blog.csdn.net/huangcao5674/article/details/7801724  (链接1)谢谢原作者!

Hadoop配置主要有三部分内容:

(1)Ubuntu安装

(2)JDK配置

(3)SSH配置

(4)Hadoop配置

下面主要讲一些容易犯错的地方:

1、Ubuntu安装

可以下载ubuntu-14.04-desktop-i386.iso文件,百度即可,很多下载资源。可以安装双系统,也可以通过Vmware虚拟机来实现Ubuntu(通过虚拟机,效果也很棒)。

2、JDK配置

推荐下载:jdk-7u7-linux-i586.tar.gz,百度即可。JDK配置方法,可以参考:http://www.cnblogs.com/cloudwind/archive/2012/10/19/2731263.html,此处需要注意的问题,就是配置环境变量的位置,有的只是配置在了当前用户下面。建议按照链接网页中的方法配置。

3、SSH配置

按照 链接1 中的方式配置SSH就可以,首先安装一下openssh-server。

需要注意的问题:

(1) 可能会遇到防火墙问题,关闭防火墙命令:ufw disable,删除防火墙:apt-get remove iptables

4、Hadoop配置

对其中的几个配置点进行简单的解释:

(1)hadoop-env.sh  环境变量设置  因为hadoop是由java编写的,所以配置好JAVA_HOME

(2)core-site.xml 核心配置文件  配置hdfs的访问路径以及端口

<property>   
  <name>fs.default.name</name>   
  <value>hdfs://localhost:9000</value>    
 </property> 

(3)hdfs-site.xml 配置hdfs,设置备份方式

<property>   
  <name>dfs.replication</name>    
  <value>1</value>    
 </property>

(4)mapred-site.xml  配置JobTracker的地址以及端口

 <property>    
  <name>mapred.job.tracker</name>   
  <value>localhost:9001</value>    
 </property>  

需要注意的几点问题:

(1)权限问题,运行hadoop namenode -format命令等时,可能无权操作相关文件夹下的文件,此时要修改文件夹的权限。

可以参考:http://www.cnblogs.com/avril/archive/2010/03/23/1692809.html

chown -R 用户组(或用户名) 文件夹名  ---修改某文件夹下所有文件的拥有者

(2)可以查看hadoop的运行情况:

http://localhost:50030   MapReduce

http://localhost:50070   HDFS

(3) 连接1 中为了方便操作hadoop,新创建了hadoop用户,这个也是可以参考的,非常不错。





  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值