CentOS

https://github.com/Guanpx/CentOS-command.git
https://github.com/Guanpx/CentOS-command
在这里插入图片描述
在这里插入图片描述
.gitattributes 的内容

Auto detect text files and perform LF normalization

  • text=auto

https://github.com/Guanpx/hadoop-2.7.1-On-CentOS.git

在这里插入图片描述

使用虚拟机搭建hadoop分布式(CentOS + hadoop2.7.1)

1.配置文件均在 hadoop-2.7.x/etc/hadoop下

2.路径需要根据实质情况配置,ssh免密登录以及防火墙关闭默认准备完成

3.准备三台虚拟机,配置好一台后,直接复制安装目录即可

设置环境变量
vi /etc/profile
# 末尾添加
export HADOOP_HOME=/home/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# source
source /etc/profile
设置hadoop-env.sh配置文件
vi   hadoop-env.sh  #添加如下内容
....
# remote nodes.

# java 添加java_home路径
export JAVA_HOME=/app/java/jdk1.8.0_60/

# The java implementation to use.
export JAVA_HOME=${JAVA_HOME}
....
设置core-site.xml配置文件
vi core-site.xml   #添加如下内容
# fs.defaultFS : value就是 namenode url
# hadoop.tmp.dir : datanode临时存放的数据文件,需要自己新建
# mkdir xxx/hadoop-2.7.1/data  

<configuration>
      <property>
           <name>fs.defaultFS</name>
           <value>hdfs://hdp01:9000</value>
      </property>
      <property>
           <name>hadoop.tmp.dir</name>
           <value>/home/hadoop/hadoop-2.7.1/data</value>
           <description>Abase for other temporary directories.</description>
      </property>
</configuration>
设置hdfs-site.xml配置文件
vi hdfs-site.xml  #添加如下内容
# dfs.replication :数据复制数量

<configuration>
<property>
		<name>dfs.replication</name>
        <value>2</value>
</property>
</configuration>
设置mapred-site.xml配置文件
mv  mapred-site.xml.template   mapred-site.xml  
#默认mapred-site.xml不存在,使用mapred-site.xml.template生成
vi  mapred-site.xml  #添加如下内容
# mapreduce.framework.name :执行框架设置为 Hadoop YARN.

<configuration>
<property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
</property>
</configuration>
设置yarn-site.xml配置文件
vi   yarn-site.xml   #添加如下内容
# yarn.resourcemanager.hostname : rm服务器的主机名
# yarn.nodemanager.aux-services :Shuffle service 需要加以设置的Map Reduce的应用程序服务
<configuration>
<!-- Site specific YARN configuration properties -->
       <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hdp01</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
设置slaves配置文件
vi  slaves    #修改后显示如下内容
hdp02
hdp03
# 可以添加自己 hdp01
两个常见小错误

1.datanode启动不了

hadoop datanode -format

2.datanode启动成功之后又启动失败

清空datanode的tmp文件夹里的内容
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值