hadoop安装

最新推荐文章于 2024-09-06 18:06:22 发布
最新推荐文章于 2024-09-06 18:06:22 发布
阅读量169 收藏
点赞数
分类专栏： 大数据相关 文章标签： hadoop ssh linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lujunskli/article/details/120573208
版权

文章目录

一、伪分布集群安装(单机适合自己学习使用)

1.1 基本环境

     ps 基本环境 1.基于虚拟机搭建 配置静态ip(参考我之前的linux学习) ，2.java环境,3.关闭防火墙(参考我之前的linux学习),4.ssh免密登录，这边我们着重看下ssh免密登录的配置

1.2 ssh免密

     ssh是使用的非对称加密，加密有两种对称，非对称。非对称不可逆所以会比较安全。非对称加密会有两种秘钥，公钥和私钥，公钥顾名思义就是公共的，私钥是自己留着的
过程:

  1. a机器吧自己的公钥给b机器
  2. a机器要和第二台机器通信的时候 a机器会发一个随机字符串，b机器会使用这个公钥对齐加密，同时a机器也对这个字符串加密，然后也传给b机器，这时候b机器对这两份进行匹配，如果ok就可信，可以登录。
  3. 这边以bigdata01 机器免密登录自己为例
[root@bigdata01 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root

[root@bigdata01 ~]# ll ~/.ssh/

[root@bigdata01 ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# 测试连接
[root@bigdata01 ~]# ssh bigdata01

1.3 安装伪分布集群

因为我们会用到bin目录和sbin目录下面的一些脚本，为了方便使用，我们需要配置一下环境变量

[root@bigdata01 hadoop-3.2.0]# vi /etc/profile
#加入下列环境
export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_HOME=/data/soft/hadoop-3.2.0
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH
[root@bigdata01 hadoop-3.2.0]# source /etc/profile

进入hadoop安装目录主要修改 一下配置
hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml workers

hadoop-env.sh
#JAVA_HOME：指定java的安装位置
#HADOOP_LOG_DIR：hadoop的日志的存放目录
export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop

core-site.xml
# 这边主机名要和你自己的名字一致
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop_repo</value>
   </property>
</configuration>




hdfs-site.xml
#配置
# 副本数为一应为我们这边只有一个
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

# 修改workers，设置集群中从节点的主机名信息，在这里就一台集群，所以就填写bigdata01即可
[root@bigdata01 hadoop]# vi workers
bigdata01


mapred-site.xml
# 设置mapreduce使用的资源调度框架
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>




yarn-site.xml
#设置yarn上支持运行的服务和环境变量和白名单
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
   <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>




workers
bigdata01





start-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root


stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root


start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root


stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

修改完还不行记得格式化

# successfully formatted看到这个就成功了
[root@bigdata01 hadoop-3.2.0]# bin/hdfs namenode -format
# 启动集群
[root@bigdata01 hadoop-3.2.0]# sbin/start-all.sh

二、分布集群安装

2.1配置免密登录

ps：前置条件是jdk,防火墙，host都配置好了

bigdata01 192.168.64.101
bigdata02 192.168.64.102
bigdata03 192.168.64.103

# 分别配置dns解析
vi /etc/hosts
bigdata01 192.168.64.101 bigdata02
bigdata01 192.168.64.102 bigdata03
bigdata01 192.168.64.103 bigdata04

# 集群节点之间时间同步
# 默认是没有ntpdate命令的，需要使用yum在线安装，执行命令 yum install -y ntpdate
#  ntpdate -u ntp.sjtu.edu.cn检查是不是安装成功
[root@bigdata02 ~]# yum install -y ntpdate
#在三台机器上分别配置上定时的同步任务
vi /etc/crontab
* * * * * root /usr/sbin/ntpdate -u ntp.sjtu.edu.cn

# 免密登录 
# ssh-keygen -t rsa 执行以后会在~/.ssh目录下生产对应的公钥和秘钥文件
# 伪分布式集群的时候我们  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 自己免密登录自己
# 现在吧data02公钥信息拷贝到两个从节点
scp ~/.ssh/authorized_keys bigdata03:~/
scp ~/.ssh/authorized_keys bigdata04:~/
# 然后再bigdata03 bigdata04 分别运行
# 如果这边提示.ssh/xx找不到文件 可以手动建
 cat ~/authorized_keys >> ~/.ssh/authorized_keys
有没有必要实现从节点之间互相免密码登录呢？
这个就没有必要了，因为在启动集群的时候只有主节点需要远程连接其它节点。

2.2配置hadoop

# 还是在/data/soft 
tar -zxvf hadoop-3.2.0.tar.gz
#解压完修改配置
core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata02:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop_repo</value>
   </property>
</configuration>

hdfs-site.xml 
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata02:50090</value>
    </property>
</configuration>



mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>


yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>bigdata02</value>
	</property>
</configuration>

vi workers（注意这个命令要在/data/soft/hadoop-3.2.0/etc/hadoop执行）
bigdata03
bigdata04


start-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root


stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root


start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root


stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root


# 修改完同步hadoop到03 04
[root@bigdata02 soft]# scp -rq hadoop-3.2.0 bigdata03:/data/soft/
[root@bigdata02 soft]# scp -rq hadoop-3.2.0 bigdata04:/data/soft/

#在bigdata02上 如果在后面的日志信息中能看到common.Storage: Storage directory /data/hadoop_repo/dfs/name has been successf 说明成功格式化
[root@bigdata02 hadoop-3.2.0]# bin/hdfs namenode -format
#验证集群
[root@bigdata02 hadoop-3.2.0]# jps
 NameNode
 ResourceManager
SecondaryNameNode

[root@bigdata03 ~]# jps
NodeManager
 DataNode

[root@bigdata04 ~]# jps
NodeManager
 DataNode


#启动集群
[root@bigdata02 hadoop-3.2.0]# sbin/start-all.sh
#关闭集群
[root@bigdata02 hadoop-3.2.0]# sbin/stop-all.sh

链接: hadoop官网文档连接.
ps:业务机器上安装Hadoop，只需要保证业务机器上的Hadoop的配置和集群中的配置保持一致即
可，这样就可以在业务机器上操作Hadoop集群了，此机器就称为是Hadoop的客户端节点(客户端节点可以有多个)

lujunskli
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop安装与配置详细教程
王佳斌
04-27 16万+
【确保服务器集群安装和配置已经完成！】 前言 请根据读者的自身情况，进行相应随机应变。 我的三台CentOS7服务器： 主机：master（192.168.56.110） 从机：slave0（192.168.56.111） 从机：slave1（192.168.56.112） 每一个节点的安装与配置是相同的，在实际工作中，通常在master节点上完成安装和配置后，然后将安装目录复制到其他节点就可以，...
Hadoop 安装部署
qq_48802540的博客
03-21 4274
官网下载软件： Ubuntu : https://releases.ubuntu.com/ jdk ： https://www.oracle.com/java/technologies/downloads/ Hadoop ： https://archive.apache.org/dist/hadoop/common/hadoop-3.3.2/ 下载后上传到服务器，解压 一 1. 关闭防火墙 sudo ufw disable 查看防火墙状态，状态为“不活动”，说明防火墙已经关闭 sudo ufw stat
安装配置hadoop
weixin_30872499的博客
02-28 160
步骤一：环境准备 1）配置主机名为nn01，ip为192.168.1.21，配置yum源（系统源） 2）安装java环境 [root@nn01 ~]# yum -y install java-1.8.0-openjdk-devel [root@nn01 ~]# java -version openjdk version "1.8.0_131" OpenJDK Runt...
Hadoop 安装与配置
热门推荐
weixin_43571612的博客
02-22 2万+
hadoop在Ubantu中的安装与配置
HADOOP安装详细步骤
l996833997的博客
04-25 2160
上述目录中/input 目录是输入数据存放的目录，/output 目录是输出数据存放的目录。重启 SSH 服务，并切换到hadoop用户下验证能否嵌套登录本机，若可以不输入密码登录，则本机通过密钥登录认证成功。在master,slave1,slave2上将 id_rsa.pub 追加到授权 key 文件中。将master,slave1,slave2都转到用户hadoop下。配置 slaves 文件，添加slave1，slave2的ip地址。查看返回值中有没有master，slave1，slave2。
Hadoop安装和使用详解
Sharkkkie的博客
05-16 3770
本文希望通过部署Hadoop为主线，对Hadoop的框架组成、各部分协同工作的原理、技术细节形成一个初步的认知和了解。
hadoop安装流程
qq_43519594的博客
03-18 3750
这篇文章主要记录安装hadoop的过程，给后来者一点帮助， 官网获取安装包 选一款你想要的 Apache Hadoop 下载完成后上传到服务器（我用的是finalshell） 先别急着解压 准备Java包 像上面一样官网下载对应的Java包 这边我已经准备好了 jdk-8u212-linux-x64.tar 同样的 上传到服务器 现在我们开始正式安装hadoop 新建一个个人用户 adduser wolf (我用的是wolf 大家可以随意设计) su – wolf...
hadoop安装个人心得
weixin_49634383的博客
07-26 5591
1.模板虚拟机操作 1.新建一个虚拟机,内存4G,磁盘50G 2.ping www.baidu.com 检查是否可以正常联网 3.关闭防火墙,关闭防火墙开机自启 systemctl stop firewalld systemctl disable firewalld 4.创建一个atguigu用户,并修改用户密码 useradd atguigu passwd atguigu 5.配置atguigu用户具有root权限,方便后期加sudo执行root权限命令 vim /etc/sudoers 修
hadoop安装常见问题
ZJQ的博客
04-08 2738
目录 SSH服务器拒绝了密码。请再试一次​ ubuntu修改登陆用户名 这样ftp成功链接ubuntu 现在的ubuntu支持直接拖拽文件传输，不用ftp的 yarn是什么 linux配置java环境变量 hadoop安装包下载 linux不能编辑sshd_cofig SSH的简单理解和运用 SSH服务器拒绝了密码。请再试一次 是你命令窗口的$ 后面是你的用户名，不是登陆时候的。 ubuntu修改登陆用户名 这样ftp成功链接ubuntu 现在的ubu
Hadoop安装教程_单机_伪分布式配置_Hadoop2.6.0_Ubuntu14.04_给力星.html
03-02
网上找的，适合于原生Hadoop2，包括Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利安装并运行Hadoop。
Hadoop安装手册_Hadoop2.0-v1.71
08-04
第 4 章 安装部署 Hive 444.1 解压并安装 Hive 44
hadoop安装配置步骤
03-31
### Hadoop安装与配置详解 #### 一、前言 Hadoop是一款开源软件框架，用于分布式存储和处理大型数据集。它由Apache基金会维护，基于Google发表的关于Google File System (GFS) 和 MapReduce 论文实现。本文将详细...
Hadoop安装教程_单机_伪分布式配置
01-05
### Hadoop安装教程：单机与伪分布式配置详解 #### 一、引言 Hadoop是一种开源的大数据处理框架，广泛应用于数据存储和处理场景。本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本，包括单机模式...
【精选】基于Hadoop的用户网站浏览分析的设计与实现（全网最新定制，独一无二）
程序员阿龙的博客
08-31 1834
我是程序员阿龙，专注于软件开发，拥有丰富的编程能力和实战经验。在过去的几年里，我辅导了上千名学生，帮助他们顺利完成毕业项目，同时我的技术分享也吸引了超过50W+的粉丝。我是CSDN特邀作者、博客专家、新星计划导师，并在Java领域内获得了多项荣誉，如博客之星。我的作品也被掘金、华为云、阿里云、InfoQ等多个平台推荐，成为各大平台的优质作者。 在Java技术领域和学生毕业项目实战中，我积累了深厚的知识与经验，并与高校老师、讲师及行业内的同行前辈保持着广泛的交流与合作。我的专业背景和丰富的实战经验使
【运维监控】prometheus+node exporter+grafana 监控linux机器运行情况（2）
alanchanchn的专栏
09-03 1992
本示例是通过prometheus的node exporter收集主机的信息，然后在grafana的dashborad进行展示。本示例使用到的组件均是最新的，下文中会有具体版本说明，linux环境是centos。本示例分为四个部分，即prometheus、grafana、node exporter的部署和三者集成的监控linux。本文旨在说明三者如何使用，不涉及各自组件的介绍，如果需要使用到本文的，肯定都有了解。
＜Linux＞ 基础IO
最新发布
prodigy623的博客
09-06 507
详解Linux基础IO：文件系统调用接口与C库文件函数的关系、重定向、数据缓冲区、文件系统、动静态库
【Linux修行路】线程安全和死锁
m0_68662723的博客
09-06 984
今天的分享到这里就结束啦！如果觉得文章还不错的话，可以三连支持一下，您的支持就是我前进的动力！
【Linux】08.Linux 下的第一个小程序——进度条
caryon的博客
09-02 947
对换行与回车的直观解释，认识缓冲区，编写小程序
Linux环境下Hadoop安装配置指南
整个Hadoop安装过程涉及多个步骤，每一步都需要仔细操作和配置，以确保集群的稳定运行。由于Hadoop是一个分布式计算框架，其安装和配置过程相对复杂，因此需要耐心和对Linux及Hadoop基础知识的理解。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值