在redhat7中安装hadoop

1、安装Linux、JDK、关闭防火墙、配置主机名

解压:tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/
设置Hadoop的环境变量:  vi ~/.bash_profile
HADOOP_HOME=/root/training/hadoop-2.7.3
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
生效

source ~/.bash_profile(在安装hadoop之前要先安装jdk)

2、Hadoop的目录结构


三种安装模式:

1.本地模式(一台机器)

特点:没有HDFS、只能测试MapReduce程序
  MapReduce处理的是本地Linux的文件数据


vi hadoop-env.sh

25 export JAVA_HOME=/root/training/jdk1.8.0_144(先查看echo $JAVA_HOME)

测试MapReduce程序:
1、创建目录  mkdir ~/input
2、运行(只能测试mapreduce)
例子:/root/training/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount ~/input/data.txt ~/output

2.伪分布模式(一台机器)

特点:是在单机上,模拟一个分布式的环境
      具备Hadoop的主要功能
  
HDFS: namenode+datanode+secondarynamenode

Yarn: resourcemanager + nodemanager

配置文件如下:

        hadoop-env.sh
 export JAVA_HOME=/root/training/jdk1.8.0_144(也要添加jdk路径)
hdfs-site.xml

                        (原则:一般数据块的冗余度跟数据节点(DataNode)的个数一致;最大不超过3)

<!--表示数据块的冗余度,默认:3-->
<property>
   <name>dfs.replication&l
  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值