关于Hadoop之HDFS环境的搭建与安装

分布式集群:
Hadoop
收集:flume kafka
存储:HDFS
计算:MapReduce
分布式集群存储(HDFS):
配置jdk环境变量: vim/etc/proflile
JAVA_HOME=/usr/jdk1.8.0
PATH=$JAVA_HOME/bin:$PATH($:连接到之前的PATH)
export JAVA_HOME PATH
刷新配置文件: source/etc/profile
修改主机名称: hostnamectl set-hostname huaxia0*
配置主机和IP地址映射: vim/etc/hosts
192.168.142.132 huaxia01
192.168.142.133 huaxia02
192.168.142.131 hauxia03
分发hosts文件到另外两个节点: scp hosts root@huaxia02:/etc/(跨平台发文件)
cp -r test1 /拷贝
查看Linux文件是否安装java: rpm -qa|grep java


集群就是由多台机器组成的额整体,共同对外服务
主从结构:一主多从,多主多从
生成秘钥:ssh-keygen并在各个节点运行
  将公钥分配到其他节点: sh-copy-id huaxia02
主节点      从节点1     从节点2
huaxia01    huaxia02    huaxia03
namenode    datanode    datanode
框架的版本选择遵从一个原则:不要使用最新版本(选择一个不新不旧的版本)
tar -zxvf  解压
vim hadoop-env.sh转export JAVA_HOME=/usr/jdk1.8.0后退出
vim /etc/profile转      HADOOP_HOME=/usr/hadoop-2.7.5
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_HOME PATH后退出
source /etc/profile
检测hadoop
配置错误的补救  /usr/bin/vi /etc/profile
分发安装包到各个节点  scp -r hadoop-2.7.5 root@huaxia02:/usr/
分发配置文件到各个节点  scp /etc/profile root@huaxia02:/etc/
在HDFS主节点上执行命令进行初始化  namenodehadoop namenode -format
在HDFS主节点上启动  HDFS   start-dfs.sh
关闭防火墙hadoop fs
上传  hadoop fs -put /usr/hadoop-2.7.5.tar.gz /
网页查看+50070
IPADDR      IP地址
NETMASK     子网掩码

GATEWAY     网关

【附一】:分布式集群的安装

一、上传安装包,并解压到相关目录

  tar -zxvf hadoop-2.7.5.tar.gz -C /home/

 

二、主要配置文件的配置

1.修改hadoop-env.sh

   export JAVA_HOME=/usr/jdk1.8

2.修改core-site.xml

   <configuration>

     <!-- 指定HDFS老大(namenode)的通信地址 -->

     <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop01:9000</value>

     </property>

     <!-- 指定hadoop运行时产生文件的存储路径 -->

     <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/hadoop-2.7.5/temp</value>

     </property>

</configuration>

 

3.修改hdfs-site.xml

 <configuration>

     <!-- 设置namenode的http通讯地址 -->

    <property>

        <name>dfs.namenode.http-address</name>

        <value>hadoop01:50070</value>

    </property>

    <!-- 设置secondarynamenode的http通讯地址 -->

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>hadoop02:50090</value>

    </property>

    <!-- 设置namenode存放的路径 -->

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/opt/hadoop-2.7.5/hdfs/name</value>

    </property>

    <!-- 设置hdfs副本数量 -->

    <property>

        <name>dfs.replication</name>

        <value>2</value>

    </property>

    <!-- 设置datanode存放的路径 -->

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/opt/hadoop-2.7.5/hdfs/data</value>

    </property>

    <!-- 设置取消访问控制检查 -->

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

  

4.修改mapred-site.xml(集群中只有mapred-site.xml.template,可以从这个文件进行复制,或者直接改名也可以)

   <configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

    </property>

   </configuration>

5.修改yarn-site.xml

  <configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop03</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

   </configuration>

6.修改slaves文件,添加以下内容,该内容是从节点列表

   hadoop01

   hadoop02

   hadoop03

 

三、分发安装包到各个节点,Hadoop的每个节点都需要hadoop安装包

   scp -r hadoop-2.7.5 root@hadoop02:$PWD

   scp -r hadoop-2.7.5 root@hadoop03:$PWD

 

四、在HDFS主节点上执行命令进行初始化namenode

hadoop namenode -format

 

五、在HDFS主节点上启动HDFS,其实在哪个节点启动并无关系

start-dfs.sh

结果:在主节点启动了NameNode守护进程

      在从节点启动了DataNode守护进程

      在配置的一个特定节点上会启动SecondaryNameNode进程

六、检测集群是否启动成功

1、检测hdfs是否启动成功

   hadoop  fs  -ls  /

2、Hdfs集群信息web管理界面地址

      http://hadoop01:50070

 



  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值