CentOS7 上安装Hadoop 2.7.2 的安装 和 初步使用

最新推荐文章于 2024-05-22 05:00:00 发布
最新推荐文章于 2024-05-22 05:00:00 发布
阅读量1.3w 收藏 2
点赞数
分类专栏： unix使用 Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/remote_roamer/article/details/50579874
版权

参考文档    http://www.powerxing.com/install-hadoop-cluster/

Hadoop集群安装配置教程


严重提示：
这里注意所有的主机名需要规范设置。不能用下划线来做分隔符，只能用减号。
同时不能在配置文件里面使用ip地址。而要使用主机名。

我在安装过程中就是因为这2个原因。导致集群无法正确建立。hdfs dfsadmin -report ，无法显示正确信息

  1.  准备阶段
    • 3台模拟机，安装好CentOS7 的系统
    • IP主机名用户名密码
      192.168.1.151                              hadoop-master-001                    hadoop                   
      192.168.1.152hadoop-slave-001hadoop 
      192.168.1.153hadoop-slave-002hadoop 

  2. 增加用户

    useradd hadoop
    passwd hadoop


  3. 禁用 Transparent Hugepage
    1. 查看Transparent Hugepage 的状态
      cat /sys/kernel/mm/transparent_hugepage/enabled
    2. 返回 结果 
      [always] madvise never
    3. 永久关闭
      vim /etc/rc.local
加入如下代码:
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
   echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
   echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
    4. 重启机器
    5. 查看状态
      cat /sys/kernel/mm/transparent_hugepage/enabled
    6. 返回结果
      always madvise [never]



  4. 系统软件安装
    1. java 安装
      安装oracle的java sdk

      下载链接 : http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
      wget  http://download.oracle.com/otn-pub/java/jdk/8u72-b15/jdk-8u72-linux-x64.rpm?AuthParam=1453706601_fb0540fefe22922be611d401fbbf4d75

      下载到本地以后，通过yum 进行安装
      yum localinstall jdk-8u72-linux-x64.rpm 

    2. 验证java 版本
      java --version

    3. 设置JAVA_HOME环境变量
      vim  /etc/profile
      export JAVA_HOME="/usr/java/default"

    4. 在master 和 slave的服务器上都设置 hosts

      192.168.1.151   hadoop-master-001
      192.168.1.152   hadoop-slave-001
      192.168.1.153   hadoop-slave-002

    5. 打通001到001, 002,003的SSH无密码登陆
      1. 安装ssh
      2. 在001 的机器上进入 hdfs 用户 的 .ssh 目录
      3.  使用 ssh-keygen -t rsa  来生成公钥和私钥(连续回车，不设置密码)
      4. 把公钥文件复制到要访问的机器的hdfs的用户目录下的.ssh 目录
         scp ~/.ssh/id_rsa.pub hadoop@hadoop-master-001:/home/hadoop/.ssh/authorized_keys
         scp ~/.ssh/id_rsa.pub hadoop@hadoop-slave-001:/home/hadoop/.ssh/authorized_keys
      5.  scp ~/.ssh/id_rsa.pub hadoop@hadoop-slave-001:/home/hadoop/.ssh/authorized_keys
      6. 检测是否可以不需要密码登陆
        ssh localhost
        ssh hadoop@hadoop-master-001
        ssh hadoop@hadoop-slave-001
        ssh hadoop@hadoop-slave-001
        这里只有001是master，如果有多个namenode，或者rm的话则需要打通所有master到其他剩余节点的免密码登陆。（将001的authorized_keys追加到002和003的authorized_keys）

        注意：在centos7 下面 要打通本地 ssh localhost 的免密码登陆的过程，如果使用网上的 
        cat ./id_rsa.pub >> ./authorized_keys  这种方法，是无法免密码的。什么原因未知。 现在采用
        scp ~/.ssh/id_rsa.pub hdfs@hadoop-master-001:/home/hdfs/.ssh/authorized_keys
        这种方式来完成本机免密码ssh
  5. hadoop的安装
    1. hadoop 下载http://hadoop.apache.org/releases.html  。 下载页面 访问  http://apache.fayea.com/hadoop/common/ 
      wget  http://apache.fayea.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
    2. tar -xzvf hadoop-2.7.2.tar.gz
    3. 把hadoop-2.7.2 移动到 /usr/local目录下
      1. sudo cd /usr/local
      2. sudo tar -xzvf hadoop-2.7.2.tar.gz
      3. sudo chown -R hadoop:hadoop ./hadoop-2.7.2
      4. ln -s /usr/local/hadoop-2.7.2  /usr/local/hadoop
    4. 判断hadoop的版本
      /usr/local/hadoop/bin/hadoop version
    5. 配置环境变量

      vim /etc/profile

      export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

    6. hadoop配置过程

      1. 配置之前，需要在001本地文件系统创建以下文件夹：

        /home/hadoop/name

        /home/hadoop/data

        /home/hadoop/temp


      2. 这里要涉及到的配置文件有7个：

        ~/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

        ~/hadoop-2.7.2/etc/hadoop/yarn-env.sh

        ~/hadoop-2.7.2/etc/hadoop/slaves

        ~/hadoop-2.7.2/etc/hadoop/core-site.xml

        ~/hadoop-2.7.2/etc/hadoop/hdfs-site.xml

        ~/hadoop-2.7.2/etc/hadoop/mapred-site.xml

        ~/hadoop-2.7.2/etc/hadoop/yarn-site.xml


      3. 修改配置（如何系统已经设置了JAVA_HOME,也要配置env.sh）
        在192.168.1.151 服务器上进入 /home/hdfs/hadoop-2.7.2/etc/hadoop
        配置文件1：hadoop-env.sh

        修改JAVA_HOME值（export JAVA_HOME=/usr/java/default）

        配置文件2：yarn-env.sh

        修改JAVA_HOME值（export JAVA_HOME=/usr/java/default）

        配置文件3：slaves （这个文件里面保存所有slave节点）

        写入以下内容：

        hadoop-slave-001
hadoop-slave-002

        配置文件4：core-site.xml

        <configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop-master-001:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/home/hadoop/temp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>


        配置文件5：hdfs-site.xml

        <configuration>
         <property>
               <name>dfs.namenode.secondary.http-address</name>
               <value>hadoop-master-001:9001</value>
         </property>
         <property>
                 <name>dfs.namenode.name.dir</name>
                 <value>file:/home/hadoop/name</value>
         </property>
         <property>
                 <name>dfs.datanode.data.dir</name>
                 <value>file:/home/hadoop/data</value>
         </property>
         <property>
                 <name>dfs.replication</name>
                 <value>3</value>
         </property>
         <property>
                 <name>dfs.webhdfs.enabled</name>
                 <value>true</value>
         </property>
</configuration>


        配置文件6：mapred-site.xml

        <configuration>
                <property>
                         <name>mapreduce.framework.name</name>
                         <value>yarn</value>
                </property>
                <property>
                         <name>mapreduce.jobhistory.address</name>
                         <value>hadoop_master_001:10020</value>
                </property>
                <property>
                         <name>mapreduce.jobhistory.webapp.address</name>
                         <value>hadoop_master_001:19888</value>
                </property>
</configuration>

        配置文件7：yarn-site.xml

        <configuration>
        <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>
        <property>
               <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
               <name>yarn.resourcemanager.address</name>
               <value>hadoop_master_001:8032</value>
       </property>
       <property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>hadoop_master_001:8030</value>
       </property>
       <property>
               <name>yarn.resourcemanager.resource-tracker.address</name>
               <value>hadoop_master_001:8031</value>
       </property>
       <property>
               <name>yarn.resourcemanager.admin.address</name>
               <value>hadoop_master_001:8033</value>
       </property>
       <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <value>hadoop_master_001:8088</value>
       </property>
</configuration>



      4. 复制到hadoop 到其他节点
        scp -r /usr/local/hadoop hadoop@hadoop-slave-001:/usr/local/hadoop-2.7.2
         scp -r  /usr/local/hadoop  hadoop@hadoop-slave-002:/usr/local/hadoop-2.7.2
    7. 启动hadoop
      1. 进入安装目录： cd  /usr/local/hadoop
      2. 格式化namenode：./bin/hdfs namenode  -format (format前面只有一个减号)成功的话，会看到 “successfully formatted” 和 “Exitting with status 0″ 的提示，若为 “Exitting with status 1″ 则是出错。
      3. 启动hdfs: ./sbin/start-dfs.sh

        001上面运行的进程有：NameNode  SecondaryNameNode

        002和003上面运行的进程有：DataNode

      4. 启动yarn: ./sbin/start-yarn.sh

        YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用性、高扩展性

        001上面运行的进程有：NameNode  SecondaryNameNode ResourceManager
        002和003上面运行的进程有：DataNode NodeManager

        启动完成后，可以通过命令         jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”

    8. 检测运行事例
      查看集群状态：./bin/hdfs dfsadmin -report
      出现 
      Live datanodes (2):

      这个信息才表示集群建立成功
      成功启动后，可以访问 Web 界面 http://192.168.1.151:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。
      启动 YARN 可以通过 Web 界面查看任务的运行情况：http://192.168.1.151:8088/cluster
    9. 操作hdfs 的命令

      hadoop fs

      这个命令可以列出所有的 hdfs的子命令的帮助界面。基本上语法和linux上的文件操作类似

      例如 : 复制本地文件到 hdfs 系统 

      hadoop fs -copyFromLocal *.log hdfs://192.168.1.151:9000/data/weblogs

      命令详解，官方文档
      https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

    10. 安装 Hadoop Ambari 2.2.0
      1. 官方安装文档 2.2.0
        https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.2.0+from+Public+Repositories
      2. 主机准备
        主机名IP地址
        hadoop-ambari192.168.1.150
          

      3. 更新 yum的仓库
        yum update
        cd /etc/yum.repos.d/
        wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.0.0/ambari.repo
      4. 安装自己的jdk 环境
        yum localinstall jdk-8u72-linux-x64.rpm 
      5. 配置JAVA_HOME环境变量
        vim  /etc/profile
        export JAVA_HOME="/usr/java/default"
      6. 安装 Ambari 
        yum install ambari-server
        ambari-server setup
        (在配置的过程中选择自己安装的jdk环境)
      7. 启动服务
        ambari-server start
      8. 访问服务
        http://192.168.1.150:8080 （缺省用户名和密码 是 : admin / admin）
    11. MapReduce 的程序开发
      1. 在maven的pom.xml文件里面配置hadoop的构建

            <!-- hadoop的配置 -->
    <dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-mapreduce-client-core</artifactId>
		<scope>provided</scope>
		<version>2.7.2</version>
	</dependency>
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-mapreduce-client-common</artifactId>
		<scope>provided</scope>
		<version>2.7.2</version>
	</dependency>
    <dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-common</artifactId>
		<scope>provided</scope>
		<version>2.7.2</version>
	</dependency>
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-yarn-common</artifactId>
		<scope>provided</scope>
		<version>2.7.2</version>
	</dependency>
		<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-annotations</artifactId>
		<scope>provided</scope>
		<version>2.7.2</version>
	</dependency>
	<!-- 配置结束 -->



      2. 在java的开发环境中下载hadoop集群环境中的配置文件,保存到config目录下
          • core-site.xml
            <configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop-master-001:9000</value>
	</property>
	
    <property>
		<name>io.file.buffer.size</name>
		<value>131072</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>file:/home/hadoop/temp</value>
		<description>Abase for other temporary directories.</description>
	</property>
	<property>
		<name>hadoop.proxyuser.hduser.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.hduser.groups</name>
		<value>*</value>
	</property>
</configuration>
          • hdfs-site.xml
            <configuration>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/home/hadoop/data</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
</configuration>
          • mapred-site.xml 

            <configuration>
	<property>
		<name>mapred.job.tracker</name>
		<value>hdfs://hadoop-master-001:9001</value>
	</property>
</configuration>


      2. 配置本地的hosts文件，定义 192.168.1.151   hadoop-master-001


remote_roamer
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop环境搭建
oxygensss的博客
03-19 400
一.模板虚拟机hadoop100配置如下（本文Linux系统以centos7及以上为准）（1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况：（2）安装epel-releaseExtra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。注意：如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作。
hadoop完全分布式安装
qq_43631091的博客
09-24 226
title: hadoop完全分布式安装 date: 2019-08-10 21:43:42 tags: hadoop categories: 搭建自己的hadoop学习集群 copyright: true 前言 我们之前搭建了hadoop的伪分布式的集群，伪分布式的集群对于学习一些基础的hadoop操作是足够的，但是当你涉及到更复杂的操作时，伪分布式就不够了，完全分布式的性能比伪分布的要强，而...
Hadoop 安装及目录结构
最新发布
程序猿进阶
05-22 2493
【1】 各个服务组件逐一启动/停止#分别启动/停止HDFS组件#启动/停止YARN【2】各个模块分开启动/停止（配置ssh是前提）#整体启动/停止HDFS start-dfs.sh/stop-dfs.sh #整体启动/停止YARN start-yarn.sh/stop-yarn.sh。
Hadoop的安装（客官莫划走，留下来看一眼（适用人群学生初学，其他人看看就行））
qq_62845367的博客
09-22 955
在这里用一个‘特殊’的快捷方法，输入 ssh-copy-id 另外两台其中之一的计算机的IP或名字，在接下来的选择中输入 yes 输入相应计算机的密码，再重复一次输入另一台计算机的。最后，在另外两台计算机也重复相同的操作！输入 vi .bash_profile 进入编辑模式，在 export PATH 的上面添加 export JAVA_HOME=这里输入自己JDK的路径，然后在 export PATH 的后面添加 =$JAVA_HOME/bin:$PATH ，输入完后保存并退出。验证是否能免密登录。
CentOS7安装Hadoop集群完整步骤
热门推荐
weixin_55076626的博客
05-26 1万+
1. 安装3台centos7服务器 1.1.配置名字hadoop01\hadoop02\hadoop03 hostnamectl set-hostname hadoop01 hostnamectl set-hostname hadoop02 hostnamectl set-hostname hadoop03 1.2.修改hosts文件 vi /etc/hosts 文件末尾添加以下内容： hadoop01的ip地址 hadoop01 hadoop02的ip地址 hadoop02 ha
centos7hadoop安装配置
xwt1130_的博客
02-02 440
通过vim /etc/hosts配置其他计算机的ip以及主机名的映射,可以直接ping设置好的主机名。解压缩,将hadoop和jdk解压到soft目录,如果觉得解压完的文件名太长可以用mv修改。将54行修改为,其中jdk180是你解压出来的目录,上面我将其修改为了jdk180。vi编辑配置文件(可以在vm中的编辑中的虚拟网络编辑器查看DHCP和NAT设置)生成秘钥(注意是大写的P),运行后再次回车,生成秘钥。修改完后重启网络,ping百度,能ping通就行。查看是否刷新成功,能出现即成功。
CentOS7基于Hadoop 2.7.3安装Hive 2.1.1
heima201907的博客
12-03 140
1.前言 说明：安装hive前提是要先安装hadoop集群，并且hive只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装)，可以不在datanode节点的机器上安装。另外还需要说明的是，虽然修改配置文件并不需要你已经把hadoop跑起来，但是本文中用到了hadoop命令，在执行这些命令前你必须确保hadoop是在正常跑着的，而且启动hive的前提也...
Centos7下安装Hadoop2.8.5
A_saying的博客
11-10 348
Centos7下安装Hadoop2.8.5 一、准备Linux环境 1、修改主机名 vi /etc/sysconfig/network 加入以下内容 NEKWORKING =yes HOSTNAME=hadoop0 2、修改主机名和IP的映射 vi /etc/hosts 加入以下内容 192.168.33.61 hadoop0 3、关闭防火墙 #查看防火墙状态 systemctl status firewalld #关闭防火墙 systemctl stopfirewalld #关闭防火墙开机自启
centos7 64位下编译Hadoop2.7.2源码库文件
12-31
以下是关于如何在CentOS 7 64位系统上编译Hadoop 2.7.2源码库文件的详细步骤及相关的知识点： 1. **环境准备**：首先确保你的系统安装了必要的开发工具，如GCC、Java开发工具包（JDK）、Maven和Git。可以使用以下...
CentOS 7+Hadoop-2.7.2的hadoop环境搭建（一）快速创建第一台虚拟机和环境准备
01-09
Hadoop环境搭建（一）虚拟机快速创建和环境准备搭建所使用的环境和软件：创建虚拟机(VM)完成虚拟机创建配置后给VM安装操作系统如果时间不对，设置时区和时间同步将一台虚拟机ip修改为静态ip,和修改主机名字用Xshell...
centos6.7编译的hadoop2.7.2
09-24
在本文中，我们将深入探讨如何在CentOS 6.7操作系统上编译并安装Hadoop 2.7.2。Hadoop是一个开源的分布式计算框架，由Apache软件基金会开发，用于处理和存储大规模数据集。它主要由两个核心组件构成：Hadoop ...
在centos7下正确安装伪分布hadoop2.7.2和配置eclipse.pdf
11-11
【在CentOS7下正确安装伪分布Hadoop2.7.2和配置Eclipse】 ...至此，你已经在CentOS7上成功搭建了Hadoop2.7.2的伪分布式环境，并配置了Eclipse用于Hadoop开发。现在你可以开始进行Hadoop相关的编程和测试工作。
hadoop3.1.3单机版安装
weixin_44077750的博客
07-08 744
hadoop3.1.3单机安装 安装jdk 进入/usr/local/目录下，创建soft目录，之后作为hadoop的安装目录，在soft中新建Java目录，用于存放jdk（命令：mkdir java） 将jdk进行解压： tar -zxvf ./jdk1.8.0_202.tar.gz 修改文件：vim /etc/profile 添加：export JAVA_HOME=/usr/java/jdk1.8.0_202 用java -version进行验证 安装SSH、配置SSH无密码登陆 ssh l
hadoop2.7.2的安装过程
小猴（先锋）
08-05 5150
一、准备安装环境： 1、Vmware workstation 12 的安装 2、虚拟机 Red Hat RHEL 6.6 [hadoop@master ~]$ more /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost
Hadoop安装教程
m0_55853133的博客
10-29 3082
hadoop集群的安装
hadoop 3.2 集群搭建
qq_39314099的博客
12-24 2021
hadoop 集群 3.2 搭建过程其实很简单。 hadoop 官网地址：https://hadoop.apache.org/releases.html 选择自己想要的版本，我第一次搭建用的是2.7.5，虽然也搭建出来了，但是在web管理页面没有看到文件管理的相关按钮： 自我感觉不完美，后来看同事的集群，页面访问是有相关按钮的： 所以仔细对比了下配置文件，并未发现有什么异同，唯一不同...
HADOOP 2.6.5 高可用部署(YUM 安装)
biao的博客
03-31 5369
题外话初次部署Hadoop HA的时候，踩过很多坑。现在将部署流程记录下来，希望可以帮助到更多的初学者。
解决wget下载Hadoop出现连接不成功，拒绝访问的情况
abebrave的博客
06-16 1885
wget安装Hadoop
CentOS7安装Hadoop2.7.2伪分布式及Eclipse配置指南
"该文档详细介绍了如何在CentOS7操作系统中正确安装Hadoop ...以上就是安装Hadoop 2.7.2伪分布式环境并在CentOS7上配置Eclipse的详细步骤。完成这些步骤后，开发者就能在本地环境中进行Hadoop MapReduce开发和测试了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值