CentOS 6.5下hadoop3.0集群搭建

最新推荐文章于 2021-05-25 14:39:58 发布
最新推荐文章于 2021-05-25 14:39:58 发布
阅读量2.4k 收藏 2
点赞数
分类专栏： hadoop 文章标签： hadoop centos vmware
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32808045/article/details/76229157
版权

本文采用虚拟机的方式来对hadoop集群进行搭建。

1.准备(搭建集群所用到的软件及系统前期配置)：

  1. 虚拟机 : VMware
  2. linux：CentOS 6.5 .vmx
  3. sun公司的 jdk : jdk1.8.0_131
  4. ssh : 安装ssh，并设置免密
  5. hadoop : hadoop-3.0.0-alpha4

把CentOS进行克隆，克隆出两个，这样我们就有三台Linux了。
分别命名为：
master
node1
node2

在root用户下运行,对主机名进行修改 :

hostname    // 查看当前系统主机名
vi /etc/sysconfig/network    // 进入文件

Exler
HSOTNAME的属性赋值为想要修改的主机名 master
Exler

reboot    // 重启 即可完成更改

其他两台主机分别命名为 node1，node2。

对三台主机进行地址映射 :

ifconfig    // 获取主机ip地址，为了完成映射
vi /etc/hosts    // 打开

添加地址映射 :
Exler
这样我们就不用每次都敲ip了，直接主机名称就可以了。(当然另外两台都需要进行相同的配置)

2. ssh免密的配置

rpm –qa | grep ssh    // 验证ssh是否安装
yum install ssh -y    // 若无信息列出即未安装，则进行安装

Exler

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa    // 在~/.ssh/下生成公钥/私钥对   -P '' 密码为空

Exler
(randomart image看着也是挺有趣的。。。)

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys    // 把公钥添加到authorzied_keys文件里
chmod 0600 ~/.ssh/authorized_keys    // 修改authorized_keys的权限
ssh localhost    // 验证ssh是否可以访问

验证ssh访问是否正常:
Exler

把另外两台机器也配好了之后，就可以做三台机器之间的联通了 :

scp id_rsa.pub node1:~/.ssh/master_rsa.pub   // 把master公钥发给node1

Exler

再转到node1上执行 :

cat ~/.ssh/master_rsa.pub >> ~/.ssh/authorized_keys    //把收到的公钥添加到文件中去

node2 进行相同的步骤。(master的know_host文件中已经存在如节点node1的信息，以后连接都是免密的)。
就是三台虚拟机都相互把各自的公钥都发一遍，这样在每一台机器的~/.ssh/know_host文件里面都有其他节点的ssh信息。并把收到的公钥添加到authorized_keys文件下，这样下一次就可以免密登录了。

第一次访问时会出现询问
Exler
确定就好,之后都是秒连的。

遇到的问题：
1. ssh: connect to host node1 port 22: Connection timed out
检查/etc/hosts文件中的映射 地址->主机名 是否有错
2. Host key verification failed.
当询问 “…..(yes/no)?”时直接敲了个回车。 应敲yes

jdk的安装

  1. 下载
    可以直接访问官网下载符合自己机器的jdk。
    注意：需选中 Accept License Agreement
  2. 解压

    tar zxvf jdk-8u131-linux-x64.tar.gz // 解压jdk压缩包
  3. 配置环境变量
vi /etc/profile    // 配置环境变量

在空白处添加解压后jdk所在的路径 :

export JAVA_HOME=/opt/softwares/jdk1.8.0_131    
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=.:$JAVA_HOME/bin:$PATH
source /etc/profile    // 使环境变量生效

验证jdk是否安装完成 :

 java -version    // 会出现jdk版本信息

Exler

可利用scp命令发送jdk到其余虚拟机中然后更改/etc/profile

或是重复相同操作

hadoop的安装和配置

1.下载
访问hadoop官网下载。
2.解压

tar zxvf hadoop-3.0.0-alpha4.tar.gz

3.为了方便可以配置一下环境变量

vi /etc/profile
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
source /etc/profile    // 使环境变量生效

验证安装 :

hadoop version

Exler
4.配置文件
在hadoop文件加下:

cd etc/hadoop/    //  此目录下含有hadoop的配置件

Exler

需要配置的文件有 :
hadoop-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
workers
(单节点及伪分布式可查看官网)

vi hadoop-env.sh 
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/opt/softwares/jdk1.8.0_131

因为hadoop是在JVM上运行的所以要在其配置文件中指定jdk的path

vi core-site.xml
<configuration>
  <property>
    <name>fs.defaultFS</name>
     <value>hdfs://master:9000</value>
  </property>

  <property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

第一个fs.defaultFS是指定hdfs的URI
第二个hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配 置namenode和datanode的存放位置，默认就放在这个路径中

vi hdfs-site.xml
<configuration>
 <property>
   <name>dfs.replication</name>
   <value>2</value>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>/usr/local/hadoop/hdfs/name</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>/usr/local/hadoop/hdfs/data</value>
 </property>
 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>node1:9001</value>
 </property>
  <property>
    <name>dfs.http.address</name>
    <value>0.0.0.0:50070</value>
  </property>
</configuration>

dfs.replication 副本个数，默认是3
dfs.namenode.secondary.http-address 为了保证整个集群的可靠性secondarnamenode配置在其他机器比较好
dfs.http.address 进入hadoop web UI的端口

vi mapred-site.xml 
<configuration>
  <property>
    <name>mapred.job.tracker.http.address</name>
    <value>0.0.0.0:50030</value>
  </property>
  <property>
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>mapred.job.tracker.http.address</name>
    <value>0.0.0.0:50030</value>
  </property>
  <property>
    <name>mapred.task.tracker.http.address</name>
    <value>0.0.0.0:50060</value>
  </property>

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

  <property>
   <name>mapreduce.application.classpath</name>
   <value>
     /usr/local/hadoop/etc/hadoop,
     /usr/local/hadoop/share/hadoop/common/*,
     /local/hadoop/share/hadoop/common/lib/*,
     /usr/local/hadoop/share/hadoop/hdfs/*,
     /usr/local/hadoop/share/hadoop/hdfs/lib/*,
     /usr/local/hadoop/share/hadoop/mapreduce/*,
    /usr/local/hadoop/share/hadoop/mapreduce/lib/*,
     /usr/local/hadoop/share/hadoop/yarn/*,
     /usr/local/hadoop/share/hadoop/yarn/lib/*
 </value>
</property>
</configuration>

mapreduce框架的参数
最后一个是hadoop jar包的路径

vi yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>         <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8099</value>
</property>
</configuration>

NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序
yarn 的webUI端口是8099

vi workers    // datanode节点设置
node1
node2

Exler

5.发送到其余虚拟机中或是重复相同操作

启动hadoop

hdfs namenode -format    // 首次启动格式化namenode
start-all.sh    // 启动hadoop集群
jps    // 查看JVM运行的程序

Exler
Exler
Exler

遇到的问题 :

Exler
在hadoop/sbin/
vi start-dfs.sh
vi stop-dfs.sh
添加
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

当报错YARN_RESOURCEMANAGER_USER时
vi start-yarn.sh
vi stop-yarn.sh
添加
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

50070端口配置文件中设置了，却还是不能访问

vi /etc/selinux/config

修改

#This file controls the state of SELinux on the system.
#SELINUX= can take one of these three values:
#enforcing - SELinux security policy is enforced.
#permissive - SELinux prints warnings instead of enforcing.
#disabled - No SELinux policy is loaded.
SELINUX=enforcing

SELINUX的属性改为disabled

namenode启动了datanode没有启动(多次格式化namenode造成的)

在master的hadoop路径下 :

vi hdfs/name/current/VERSION

拷贝clusterID
datanode的hadoop路径下 :

vi hdfs/data/current/VERSION

替换掉datanode的clusterID
开启不需要format了

参考：
http://hadoop.apache.org/docs/r3.0.0-alpha4/hadoop-project-dist/hadoop-common/ClusterSetup.html
http://hadoop.apache.org/docs/r3.0.0-alpha4/hadoop-project-dist/hadoop-common/SingleCluster.html

推荐：http://blog.csdn.net/mxfeng/article/details/72770432?locationNum=15&fps=1

Exler_yz
关注
专栏目录
hadoop+spark+mongodb+mysql+c#
霍力强的专栏
11-30 2650
一、前言     从20世纪90年代数字化医院概念提出到至今的20多年时间，数字化医院（Digital Hospital)在国内各大医院飞速的普及推广发展，并取得骄人成绩。不但有数字化医院管理信息系统（HIS)、影像存档和通信系统（PACS)、电子病历系统（EMR)和区域医疗卫生服务（GMIS)等成功实施与普及推广，而且随着日新月异的计算机技术和网络技术的革新，进一步为数字化医院带来新的交互渠
hadoop3.0集群搭建HA
02-06
hadoop3.0-HA搭建，3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态：sestatus 临时关闭: setenforce 0 永久关闭：vi /etc/sysconfig/selinux SELINUX=disabled
Hadoop3.0集群配置
沛哥儿的专栏
01-23 5357
前言 本文主要是讲述如何在上千节点下的大规模集群的安装和配置。如果你只是想尝hadoop。你可以在单台机器上进行安装。（查看单例安装） 本文不涉及安全或高可用等方面的主题。 先决条件 安装Java。想获java取匹配的hadoop版本详情查看Hadoop Wiki 。从Apache的hadoop镜像上下载稳定的版本。 安装 Hadoop集群典型安装方式包括在所有的集群机
《Hadoop》之"踽踽独行"（四）CentOS 6.5搭建hadoop2.7.3集群环境
从明老师的博客
06-28 2876
在VMware虚拟软件中，我们要如何模拟hadoop集群搭建呢？我来整理一下思路，希望对大家有所帮助！！ 1.        安装centos6.5主机 2.        关闭防火墙和selinux 3.        配置网络 4.        时间同步 5.        ssh无密码登录设置 6.        安装jdk 7.        安装hadoop 8.        启...
Hadoop 3.0全分布式集群搭建
jiabinzhang4310的专栏
09-02 298
1. 安装jdk，配置环境变量 安装jdk后，vim /etc/profile ，添加java的环境变量，source /etc/profile生效， 我的环境是CentOS 7 + openjdk-1.8.0，用yum 安装openjdk的时候要注意一个问题，不要忘记openjdk-devel， 要不然没有javac、jps这些命令。 yum安装openjdk的命令如下所示 yum ...
基于CENTOS6.5搭建Hadoop集群
liangyingyi1006的博客
10-03 883
一、安装虚拟机二、环境nat配置Nat设置：查看得到192.168.201.2su命令，打开以下文件，删除其他行以得到下图：添加以下行：对slave1和slave2也做同样操作：三、配置JDK环境共享目录share到Linux系统（/mnt/hgfs/share）配置文件修改：修改~/.bashrc文件配置slave1和slave2：四、开始安装hadooptmp文件存放临时文件：vim mast...
Hadoop-2.7.1完全分布式集群搭建完整版
ZeroTeam_麒麟
04-05 7354
CentOS 6.5+Hadoop-2.7.1完全分布式集群搭建完整版
ESXi 6.5+CentOS 7.5：大数据平台一站式搭建教程
本文档详细介绍了如何在CentOS 7.5环境下搭建一个分布式平台，包括使用ESXi 6.5创建和管理虚拟机、安装关键组件如Kubernetes 1.13、Docker 18.09.5、JDK 1.8_131、SSH 7.4、etcd 3.3.10、Flannel 0.10.0、TOMCAT 8、...
Centos7搭建Ambari-2.7.3+HDP-3.1.0集群
m0_51557895的博客
05-25 588
Centos7搭建Ambari-2.7.3+HDP-3.1.0集群 一.目的 为了实现公司项目对海量业务数据、文件进行存储，系统间共享，并且达到以下几点要求，可行方案hadoop集群。 数据安全 需要实现数据冗余，避免数据的单点故障。 可线性扩展 当数据增长到TB，甚至PB以上时，存储方案需要支持可线性扩展。 存储高可用 某个存储服务宕掉时，不影响整体存储方案的可用 性能 性能达到应用要求。 二. 版本选择 目前而言，不收费的Hadoop版本主要有三个(均是国外厂商)，分别是： Apache(最原始的版
Centos7主机搭建CDH6.X机群
m0_37813354的博客
03-26 1562
使用centos7系统主机安装cloudera6.3.1，结合官网，从集群规划，到软件依赖，以及系统部署，详细介绍遇到的坑爬过的砍，最后完成相应CDH相关版本服务的安装，比如hadoop3.0.0;spark2.4.0;hive2.1.1;hue4.4.0;ZooKeeper3.4.5;oozie5.1.0;hbase2.14等等
最新Apache Hadoop-3.0.0 百度云下载
03-21
Apache Hadoop 3.0.0与以前的主要发布版本（hadoop-2.x）相比，具有许多重要的增强功能。
hadoop-3.0.0.rar
05-13
hadoop-3.0.0在windows上运行需要winutils支持和hadoop.dll等文件
hadoop-3.0.0.tar.gz
02-24
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。[2]
hadoop3.0.0-windows-bin.zip
11-11
包含winutils 注意版本 已经成功运行 之后配置环境变量 解决 Hadoop报错：Failed to locate the winutils binary in the hadoop binary path
hadoop-bin winutils 3.0.0，x64版本
12-28
此版本是Hadoop-3.0.0的winutils工具，直接将bin中文件覆盖即可在win下使用hadoop，此版本是在64位系统编译，win10、8、7皆可以使用，欢迎下载
CentOS6.5搭建hadoop完全分布式集群
长安一片月的博客
05-29 1434
搭建完全分布式集群-------------------------------前提条件：已经按照之前的步骤搭建完伪分布式。https://blog.csdn.net/weixin_42006411/article/details/80500217搭建hadoop伪分布式链接：点击打开链接方法：克隆虚拟机。  1.修改静态ip    a.删除之前的mac地址，记录现在的mac地址，并修改name为...
CentOS 6.5 搭建Hadoop2.6完全分布式集群
philadelphiazt的专栏
01-04 2280
Environment：OS： CentOS 6.5 x64 Hadoop Version： 2.6.0 Host：172.22.35.167 Master 172.22.35.159 Slave1 172.22.35.158 Slave2 172.22.35.147 Slave3 172.22.35.160 Second搭建过程如下： Step 1：在所有主机上新
Hadoop3.0.3分布式集群搭建
lingkkhh的博客
10-13 474
Hadoop3.0.3分布式集群搭建-慎入 参考这位大哥的角色分离 https://blog.csdn.net/hzj1998/article/details/87967359 本文的任务是构建分布式集群，但并不是上面链接的角色分离，而是一个用户下的集群，单纯地为了学习和练习熟练程度，参考。 准备环境 VM15虚拟机 Ubuntu1604 jdk8u91 Hadoop3.0.3 开始工作 ...
搭建hadoop3.0.3全分布式集群
Au的博客
02-27 1234
环境： hadoop 3.0.3 VMware+Ubuntu 16.04两台（或多台） JDK 1.8 一、装好Linux虚拟机，大概步骤如下： 命名随便，为了方便区分，主节点取名master，从节点1取名slave1，从节点2取名slave2。。。。 为了以后ip地址不变，网络适配器选择桥接模式。 二、装好后，查询各节点ip（命令：ifconfig）： 我...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值