Hadoop安装、集群搭建

最新推荐文章于 2022-03-01 15:36:02 发布
最新推荐文章于 2022-03-01 15:36:02 发布
阅读量3.8k 收藏
点赞数 2
分类专栏： Hadoop 文章标签： Hadoop安装 集群搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44065303/article/details/102843221
版权

 

目录

准备工作

1、同步时间

2、 关闭selinux

3、设置主机名

4、配置ip、主机名映射关系

5、配置ssh免密登录

6、配置防火墙：

7、jdk环境安装

8、CDH 分布式环境搭建

#修改配置文件（均在 /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下）

#配置Hadoop的环境变量

集群启动

准备工作

1、同步时间

#手动同步集群个机器时间

    date -s  "2010-10-10 10"10:10"

    yum install ntpdate

#网络同步时间

    ntpdate ntp4.aliyun.com

2、 关闭selinux

    vi /etc/selinux/config

3、设置主机名

    vi /etc/sysconfig/network

    NETWORKING=yes
    HOSTNAME=node01

4、配置ip、主机名映射关系

    vi /etc/hosts

    192.168.100.111 node01
    192.168.100.112 node02
    192.168.100.113 node03

5、配置ssh免密登录

#生成ssh免登录密钥:

    ssh-keygen -t rsa (四个回车)

    执行完这个命令后 会生成id_rsa (私钥)、id_rsa.pub (公钥)

#将公钥拷贝到要免密登录的目标机器上:

    ssh-copy-id node01

6、配置防火墙：

#查看防火墙状态：

    service iptables status

#关闭防火墙

    service iptables stop

#查看开机启动防火墙状态：

    chkconfig iptables --list

#关闭开机启动防火墙：

    chkconfig iptables off

centos7/centos8请使用  service firewalld status/stop/start

chkconfig firewalld off

7、jdk环境安装

#上传jdk安装包

    jkd1.8.0_144

#解压安装包

    tar zxvf jkd1.8.0_144-C /export/servers

#配置环境变量 /etc/profile.d/java.sh

    export JAVA_HOME=/export/servers/jdk1.8.0_144
    export PATH=$PATH:$JAVA_HOME/bin

#更改版本指向

    rm -rf /etc/alternatives/java

    ln -s /export/servers/jdk1.8.0_144/bin/java /etc/alternatives/java

#刷新配置

    source /etc/profile

#jps测试是否配置成功

    

8、CDH 分布式环境搭建

#上传压缩包并解压

    解压  hadoop-2.6.0-cdh5.14.0-编译后的版本.tar.gz

    tar /export/soft/hadoop-2.6.0-cdh5.14.0.tar.gz -C /export/servers

#查看Hadoop支持的压缩方式以及本地库

    cd /export/servers/hadoop-2.6.0-cdh5.14.0

    bin/hadoop checknative

    如果出现openssl为false，那么所有机器联网在线安装openssl即可

    yum -y install openssl-devel

#修改配置文件（均在 /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下）

    Hadoop 安装主要就是配置文件的修改，一般在主节点进行修改，完毕后scp下发给其他节点机器

8.1、 core-site.xml

    vi core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

8.2、 hdfs-site.xml

    vi hdfs-site.xml

<configuration>
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

8.3、 修改hadoop-env.sh文件 将原来的JAVA_HOME写死

    vi hadoop-env.sh

    （配置JAVA_HOME环境变量的话，不改也可以）

export JAVA_HOME=/export/servers/jdk1.8.0_144

 

8.4、 mapred-site.xml

    mv mapred-site.xml.template mapred-site.xml

    vi mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
<!--  mapreduce jobhistor配置任务提交的日志  -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>

</configuration>

8.5、 yarn-site.xml

    vi yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

8.6、 修改slaves文件

    里边写上从节点所在的主机名字

    vi slaves

node01
node02
node03

 

#配置Hadoop的环境变量

    vi /etc/profile.d/hadoop.sh

export JAVA_HOME=/export/servers/jdk1.8.0_144
export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

   #创建文件存放目录

    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas

    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas

    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas

    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits

    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name

    mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

#安装包和环境变量的分发

  依次执行以下命令

    scp -r /export/servers/hadoop-2.6.0-cdh5.14.0 node02:/export/servers/hadoop-2.6.0-cdh5.14.0

    scp -r /export/servers/hadoop-2.6.0-cdh5.14.0 node03:/export/servers/hadoop-2.6.0-cdh5.14.0

    scp /etc/profile.d/hadoop.sh node02:/etc/profile.d

    scp /etc/profile.d/hadoop.sh node03:/etc/profile.d

#主从节点都刷新配置

    source /etc/profile

#格式化namenode（本质是对namenode进行初始化）

    cd /export/servers/hadoop-2.6.0-cdh5.14.0

    bin/hdfs namenode  -format或者bin/Hadoop namenode –format

集群启动

#单个节点逐一启动

在主节点上使用以下命令启动 HDFS NameNode： Hadoop-daemon.sh start namenode

在每个从节点上使用以下命令启动 HDFS DataNode： Hadoop-daemon.sh start datanode

在主节点上使用以下命令启动 YARN ResourceManager： yarn-daemon.sh  start resourcemanager

在每个从节点上使用以下命令启动 YARN nodemanager： yarn-daemon.sh start nodemanager

以上脚本位于$HADOOP_PREFIX/sbin/目录下以上脚本位于$HADOOP_HOME/sbin/目录下

需要先cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin

<-- 启动hdfs -->
sbin/start-dfs.sh

<-- 启动yarn -->
sbin/start-yarn.sh

<--  全部启动(前提配置了 etc/hadoop/slaves和ssh免密登录) -->
sbin/start-all.sh

验证是否启动成功

[root@node01 ~]# jps
6160 SecondaryNameNode
5872 NameNode
6002 DataNode
6307 ResourceManager
6405 NodeManager
9127 Jps
[root@node01 ~]#

验证集群是否可用

  • 到集群上创建一个文件夹或文件

    只要能够创建文件夹或文件表示集群可用

  • 查看HDFS的web界面

    192.168.100.131.50070

  • 查看yarn的web界面

    192.168.100.131.8088

 

依旧ฅ=ฅ
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop集群安装
Jasper的博客
07-27 245
Hadoop集群安装 机器 如果只有3台主机，可以按照如下规划来部署安装 IP server hadoop1（172.16.185.68） zookeeper journalnode namenode zkfc resourcemanager datanode hadoop2（172.16.185.69） zookeeper ...
Hadoop的集群搭建
码放南山
11-04 186
目录 一、虚拟机环境准备 二、安装jdk 三、安装Hadoop 四、集群配置（重点） 1.集群部署规划 2.配置集群 3.配置集群中从节点信息（datanode） 4.分发文件 五、集群启动 常用集群启动停止方式 SSH无密登录配置 检验： 一、虚拟机环境准备 1、克隆三台虚拟机 2、修改主机名 /etc/sysconfig/network...
大数据技术-Flume学习笔记
xiaoyixiao_的博客
03-01 1827
大数据技术-Flume学习笔记
Hadoop2.7.4安装部署详解
林夕
07-09 3708
Hadoop集群安装文档一．安装步骤1 ． 发行版本Hadoop 发行版本分为开源社区版和商业版，社区版是指由 Apache 软件基金会维护的版本，是官方维护的版本体系。商业版 Hadoop 是指由第三方商业公司在社区版 Hadoop 基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本，比较著名的有 cloudera 的 CDH、mapR 等。我搭建的是社区版：Apache Hado...
./bin/hdfs: line 319: /usr/lib/jvm/java/bin/java: No such file or directory
qq_32539403的博客
11-29 9363
问题： Hadoop伪分布式配置，配置完core-site.xml 和 hdfs-site.xml后，运行命令后出现如下错误： 原因： 配置时，JDK的路径照抄照搬网上的教程，导致错误 解决方法： 重新修改hadoop-env.sh中： export = #JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191 成功结果： ...
hadoop安装时报错 /usr/local/hadoop-2.6.0-stable/hadoop-2.6.0-src/hadoop-hdfs-project/hadoop-hdfs/target/f...
weixin_33720078的博客
09-27 492
安装时报错：Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (site) on project hadoop-hdfs: An Ant BuildException has occured: input file /usr/local/hadoop-2.6.0-stable/hadoop-2.6...
/root/hadoop/bin/hdfs: line 204: /opt/jdk/bin/java: No such file or directory /root/hadoop/bin/hdfs:
似水流年
04-07 1万+
1 启动集群出现下列异常： /usr/bin/hadoop: line 320: /usr/lib/jvm/java-6-sun/bin/java: No such file or directory /usr/bin/hadoop: line 390: /usr/lib/jvm/java-6-sun/bin/java: No such file or directory   2
hadoop2.2.0集群搭建
07-23
资源名称：hadoop2.2.0集群搭建   资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
Hadoop3.2.0集群搭建常见注意事项
01-09
在搭建Hadoop 3.2.0集群时，有几点重要的注意事项需要关注，以确保...如果你对腾讯云上的Hadoop集群、基于ZooKeeper的高可用集群搭建，或者使用Docker部署Hadoop环境感兴趣，可以查阅相关教程，以获取更深入的指导。
hadoop2.4.1集群搭建安装教程
03-15
hadoop2.4.1集群搭建
详解搭建ubuntu版hadoop集群
09-15
【搭建Ubuntu版Hadoop集群详解】 在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的...
基于centos的大数据hadoop集群搭建说明文档
最新发布
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
hadoop格式化时/opt/hadoop-2.7.6/bin/hdfs: line 304: /opt/jdk1.8.0.171/bin/java: No such file or director
抛物线的博客
06-02 1万+
/opt/hadoop-2.7.6/bin/hdfs: line 304: /opt/jdk1.8.0.171/bin/java: No such file or directory 针对于出现上面这个错误得到解决办法是java的路径问题 /opt/hadoop-2.7.6/bin/hdfs: line 304: /opt/jdk1.8.0.171/bin/java: No such file o...
Hadoop 命令提示/home/hadoop/src/hadoop-2.7.1/bin/hadoop: line 166: /home/hadoop/src/hadoop-2.7.1//bin/ja
ZeroTeam_麒麟
04-05 8294
/home/hadoop/src/hadoop-2.7.1/bin/hadoop: line 166: /home/hadoop/src/hadoop-2.7.1//bin/java: No such file or directory /home/hadoop/src/hadoop-2.7.1/bin/hadoop: line 166: exec: /home/hadoop/src/hadoop-2.7.1//bin/java: cannot execute: No such file or direct
hadoop 分布式系统安装与部署
个人编程技术随笔
09-02 199
最近公司要用分布式系统，所以现在hadoop部署，因为只有自己部署才能更好的理解系统的架构。 linux服务器： cd /opt wget http://labs.renren.com/apache-mirror/hadoop/core/hadoop-0.18.3/hadoop-0.18.3.tar.gz 获取最近版的hadoop文件 [root@localhost opt]# wget ...
超详细Hadoop HA高可用集群搭建及常见问题处理
热门推荐
香宝的私房小厨
06-19 3万+
最近研究了下公司的hadoop集群并模仿搭建了一个在本地测试使用的hadoop集群。本文介绍下详细的搭建过程以及各种常见问题的处理解决。 1 , 前期准备 1.0 , 准备Linux环境。 安装vmware linux虚拟机，因为Centos 7 和Centos 6版本部分命令差别还挺多了，所以我本次用的Centos 6版本，用什么你随意，高兴就...
hadoop安裝详解
weixin_44519124的博客
11-04 1775
前提： （1）首先要有三个节点 （2）三个节点都需要安装jdk，hadoop （3）关闭三台机器的防火墙，并设置永久关闭，关闭selinux （4）设置三台机器的主机名为node01，node02，node03，并且使主机名和地址相关联 一：查看Hadoop压缩后的文件 （当openssl为false时利用yum下载openssl-devel） 二：修改配置文件 ...
【yarn】job日志查看
依旧的博客
11-05 6354
yarn-site.xml添加属性 <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- resourceManager 保存最大的任务完成个数 --> <property> <name>yarn.resourcemanager.max-co
Hadoop 1.0 集群搭建教程：快速上手与配置详解
本篇文档是一份Hadoop 1.0集群搭建的详细教程，适合已经具备Linux环境并安装好Java的读者。以下是主要步骤的详细说明： 1. **准备工作**： - 确保已经在Linux环境下安装并配置好Java Development Kit (JDK)。如果...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值