hadoop安装

最新推荐文章于 2024-05-10 15:13:46 发布
最新推荐文章于 2024-05-10 15:13:46 发布
阅读量460 收藏
点赞数
文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ywlmsm1224811/article/details/114299158
版权

hadoop思想

分而治之
并行计算
计算向数据移动
数据本地化读取

模块

common：支持hadoop其他模块的公共工具
hdsf：分布式存储，相比于其他分布式文件系统设计思想是为了做计算使用
MapReduce：分布式计算
yarn：资源管理

hadoop安装

准备工作

1、设置主机名
vi  /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node01

2、设置本机的ip到主机名的映射关系
vi /etc/hosts
192.168.10.11 node01
192.168.10.12 node02
192.168.10.13 node03
192.168.10.14 node04

3、安装jdk并设置环境变量
yum -y install java-1.8.0-openjdk*

vi /etc/profile     
export  JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.275.b01-1.el8_3.x86_64
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile

4、关闭防火墙和selinux安全检查
service iptables stop
chkconfig iptables off
    
vi /etc/selinux/config
SELINUX=disabled

5、时间同步
yum install ntp  -y
vi /etc/ntp.conf
server ntp1.aliyun.com
service ntpd start
chkconfig ntpd on

或者

yum install ntpdate -y
ntpdate ntp1.aliyun.com

6、ssh 免密登录
ssh  localhost ： 1、验证自己还没免密  2、被动生成了  /root/.ssh 目录
A 免密登录 B
A：  
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
ssh-copy-id -i ~/.ssh/id_dsa.pub 192.168.10.12  A 上的 id_dsa.pub 文件拷贝到 B 机器上
B：  cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 600 authorized_keys

或者

ssh-keygen
ssh-copy-id -i /root/.ssh/id_rsa.pub node02(节点名称)

7、hadoop 安装
1）下载安装包：https://archive.apache.org/dist/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz
2）解压到/opt/bigdata 目录：tar xzf hadoop-3.2.2.tar.gz -C /opt/bigdata 
3）配置环境变量：
vi /etc/profile    
export HADOOP_HOME=/opt/bigdata/hadoop-3.2.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
4）配置hadoop的角色：
必须给hadoop配置javahome要不ssh过去找不到
vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.275.b01-1.el8_3.x86_64
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root

给出NN角色在哪里启动


hadoop 伪分布式安装

在一个节点启动所有的角色：NN、DN、SNN
node01机器上完成准备工作1~7步骤
1）、etc/hadoop/core-site.xml 文件配置
NN 角色启动位置 fs.defaultFS
vi core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node01:9000</value>
</property>


2）、etc/hadoop/hdfs-site.xml 文件配置
SNN 角色启动位置 dfs.namenode.secondary.http-address
vi hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/var/bigdata/hadoop/local/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/var/bigdata/hadoop/local/dfs/data</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node01:50090</value>
</property>
<property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>/var/bigdata/hadoop/local/dfs/secondary</value>
</property>        


3）、配置DN这个角色再那里启动
vi workers
node01
4）、初始化并启动
hdfs namenode -format  ：创建目录并初始化一个空的fsimage、VERSION、CID
start-dfs.sh ：第一次启动 datanode和secondary角色会初始化创建自己的数据目录
5）、命令操作
创建目录：hdfs dfs -mkdir  -p  /user/root
上传文件（可以设定block大小）：hdfs dfs -D dfs.blocksize=1048576  -put  data.txt  /user/root
数据目录：cd /var/bigdata/hadoop/local/dfs

hadoop 完全分布式安装

机器规划

 NNSNNDN
node01*  
node02 * 
node03  *
node04  *

node01~node04 四台机器上分别完成准备工作1~7步骤
1）、etc/hadoop/core-site.xml 文件配置
vi core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node01:9000</value>
</property>


2）、etc/hadoop/hdfs-site.xml 文件配置
vi hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/var/bigdata/hadoop/full/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/var/bigdata/hadoop/full/dfs/data</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node02:50090</value>
</property>
<property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>/var/bigdata/hadoop/full/dfs/secondary</value>
</property>

        
3）、配置DN这个角色再那里启动
vi workers
node02
node03
node04
4）、将node01机器上的hadoop配置分发给 node02、node03、node04，即 scp -r /opt/bigdata/ node02:/opt/bigdata/
5）、初始化并启动
$HADOOP_HOME/bin/hdfs namenode -format   ：创建目录并初始化一个空的fsimage、VERSION、CID
$HADOOP_HOME/sbin/start-dfs.sh ：第一次启动 datanode和secondary角色会初始化创建自己的数据目录
6）、命令操作
创建目录：hdfs dfs -mkdir  -p  /user/root
上传文件（可以设定block大小）：hdfs dfs -D dfs.blocksize=1048576  -put  data.txt  /user/root
数据目录：cd /var/bigdata/hadoop/full/dfs


hadoop 完全分布式和HA安装

机器规划

 NNJNZKFCZKDN
node01***  
node02*****
node03 * **
node04   **

node02~node04 机器上安装zk集群并配置zk环境变量

node01~node04 四台机器上分别完成准备工作1~7步骤
1）、etc/hadoop/core-site.xml 文件配置
vi core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
</property>
<property>
    <name>ha.zookeeper.quorum</name>
    <value>node02:2181,node03:2181,node04:2181</value>
</property>


2）、etc/hadoop/hdfs-site.xml 文件配置
vi hdfs-site.xml

<!-- 副本以及nn dn 数据的存储目录，最后的名字 name 和 data 不能修改 -->
<property>
    <name>dfs.replication</name>
	<value>2</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>/home/data/hadoop/dfs/name</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>/home/data/hadoop/dfs/data</value>
</property>
<!-- 以下是一对多，逻辑到物理节点的映射 -->
<property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
</property>
<property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>node01:8020</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>node02:8020</value>
</property>
<property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>node01:50070</value>
</property>
<property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>node02:50070</value>
</property>

<!-- 以下是JN在哪里启动，数据存那个磁盘 -->
<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>
<property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/home/data/hadoop/dfs/jn</value>
</property>

<!-- HA角色切换的代理类和实现方法，我们用的ssh免密 -->
<property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
             
 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
</property>
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
</property>

<!-- 开启自动化： 启动zkfc -->
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>


        
3）、配置DN这个角色再那里启动
vi workers
node02
node03
node04
4）、将node01安装的hadoop以及配置分发给 node02、node03、node04
5）、初始化并启动
5.1）、先启动JN ： node01、node02、node03 上分别执行：   $HADOOP_HOME/bin/hdfs --daemon start journalnode
5.2）、选择一个NN 做格式化（只有第一次搭建做，以后不用做）：$HADOOP_HOME/bin/hdfs namenode -format
5.3)、启动这个格式化的NN ，以备另外一台同步：  $HADOOP_HOME/bin/hdfs --daemon start namenode
5.4)、在另外一台机器中： $HADOOP_HOME/bin/hdfs namenode -bootstrapStandby
5.5)、格式化zk（只有第一次搭建做，以后不用做）：   $HADOOP_HOME/bin/hdfs zkfc -formatZK 
5.6) 、$HADOOP_HOME/sbin/start-dfs.sh，命令执行后 nn、dn、jn、zkfc 角色全部会启动
6）、命令操作
创建目录：hdfs dfs -mkdir  -p  /user/root
上传文件（可以设定block大小）：hdfs dfs -D dfs.blocksize=1048576  -put  data.txt  /user/root
数据目录：cd /var/bigdata/hadoop/ha/dfs


hadoop 完全分布式、HA和yarn安装

机器规划

 NNJNZKFCZKDNRMNM
node01***    
node02***** *
node03 * ****
node04   ****

首先按照 hadoop 完全分布式和HA安装好之后，继续修改以下文件

1）、etc/hadoop/mapred-site.xml 文件配置

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

2）、etc/hadoop/yarn-site.xml 文件配置

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>node02:2181,node03:2181,node04:2181</value>
</property>
<property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>mycluster</value>
</property>
<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>node03</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>node04</value>
</property>

3）、将 mapred-site.xml 和 yarn-site.xml 分发给 node2~node04
4）、node01 上执行 $HADOOP_HOME/sbin/start-yarn.sh，ResourceManager 和 NodeManager 都会启动
5）、通过 http://node03:8088 访问

 

 

dragon@oo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop安装说明
12-15
Hadoop安装说明，利用JAVA调用API及MapReduce的使用。文档为本人云计算大作业，如有错误请批评指正。
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
超详细Hadoop安装教程（单机版、伪分布式）
kunkun的博客
04-17 9995
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop集群环境配置及安装配置（详细过程包含安装包）_hadoop安装与配置
最新发布
2401_84167086的博客
05-10 1624
4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。加载新时区：sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
hadoop安装教程（一次填完所有的坑）
阿甘兄
06-07 2万+
hadoop安装教程，一次填完所有的坑
Hadoop安装
xiaolong1155的博客
06-09 1037
从0开始构建一套Hadoop大数据平台，实战环境为目前主流服务器操作系统CentOS 7.x系统。Hadoop的安装部署都属于java进程，就是启动了JVM进程，运行服务。
Hadoop安装和使用详解
Sharkkkie的博客
05-16 3725
本文希望通过部署Hadoop为主线，对Hadoop的框架组成、各部分协同工作的原理、技术细节形成一个初步的认知和了解。
hadoop安装手册
03-12
hadoop安装手册，详细介绍如何安装配置hadoop，可按照步骤进行安装
HADOOP安装1
08-08
【Hadoop安装1】 在本文中，我们将详细探讨如何在Linux环境下安装Apache Hadoop，这是一个分布式文件系统，常用于大数据处理。首先，我们需要确保系统具备安装Hadoop的前提条件，包括安装JDK、OpenSSH和创建特定...
Hadoop安装教程
05-14
Hadoop需要的安装包可以参考我的博文http://blog.csdn.net/h66295112博客里面的Spark搭建过程（小白）这一篇博文里有安装包下载地址
hadoop安装部署手册
03-06
《Hadoop安装部署手册》是指导用户在Linux环境中配置和管理Hadoop分布式文件系统的详尽指南。Hadoop作为开源的大数据处理框架，以其高容错性、可扩展性和高效的并行处理能力，广泛应用于大数据处理领域。本手册将...
hadoop安装与配置
11-06
Hadoop 安装与配置 Hadoop 是一个开源的分布式计算框架，广泛应用于大数据处理和分析领域。为了使用 Hadoop，需要安装和配置 Hadoop 环境。本文将详细介绍 Hadoop 的安装和配置过程。 下载 Hadoop 要安装 Hadoop...
Hadoop安装.zip
11-12
本教程将详细介绍如何在单机模式和伪分布式模式下安装Hadoop，并连接到HDFS。 一、Hadoop简介 Hadoop由Apache基金会开发，旨在处理和存储大量数据。它基于Google的GFS（Google File System）和MapReduce模型。HDFS...
hadoop安装详细文档
02-05
可以按照这个文档部署hadoop。通过hadoop详细的安装步骤。完全可以好猫画虎
Hadoop 3.2.2 安装与使用文档超详细图文步骤
蜗牛的博客
08-23 5733
1、简介 1.1、概述 Hadoop是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。 1.2、官网 Hadoop 官网 2、准备工作 2.1、安装 JDK 8 Centos 7 安装 JDK8 2.2、下载 Hadoop ...
hadoop安装教程完整版【含配置文件】
weixin_63580983的博客
03-07 1240
hadoop
Hadoop入门(七)——Hadoop安装（图文详解步骤2021）
a18850765326的博客
12-02 698
...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值