Hadoop配置基于阿里云服务器

已于 2024-02-13 20:15:28 修改
阅读量536 收藏 8
点赞数 8
分类专栏： 总结 文章标签： hadoop 阿里云 服务器
于 2024-01-27 04:38:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CV_Gr_nD/article/details/135877409
版权

注：本文档配套一键式Hadoop集群部署（demo）已经开源一键式部署

一键部署目前的bug

需要提前手动安装java

部分xml文件存在两个configuration，需要手动删除空的那个

namenode的/etc/hosts需要手动创建localhost，否则在docker创建时指定的名字可能会导致不可预料的错误

正常配置流程

三个服务器已经买好了
买好三个服务器
在这里插入图片描述
Xshell上配置公网IP,设定namenode以及两个datanode

已经配置完毕

1.正式开始服务器配置

1.1 配置主机名

vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=namenode 
NETWORKING=yes
HOSTNAME=datanode1 
NETWORKING=yes
HOSTNAME=datanode2

安装java

基于centos系统

yum install java -y

配置hosts

vim /etc/hosts

修改为对应的外网

xxx  namenode
xxx datanode1
xxx datanode2

SSH免密登录

每个节点都需要操作！！！

首先生成密钥

ssh-keygen

其次传输密钥到所有的连接节点

ssh-copy-id namenode1
ssh-copy-id namenode2
ssh-copy-id datanode

Hadoop安装与配置

配置集群

安装Hadoop，建议从清华园

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

针对于"内网"的兄弟们，可以使用清华源

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.3.6.tar.gz

解压压缩包（名字可以用ls命令获得）

tar- zxvf hadoop.tar.gz
cd hadoop.xxx

进入到Hadoop配置文件
配置hadoop_env.sh

cd ~/hadoop-3.3.6/etc/hadoop/
vim hadoop-env.sh
# add
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.312.b07-2.el8_5.x86_64

配置core-site.xml
每个节点都需要做，每个节点的值都指向namenode

mkdir -p /var/hadoop
vim core-site.xml
# add
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop</value>
    </property>
</configuration>

配置hdfs-site.xml

vim hdfs-site.xml
# add
<configuration>
<property>
        <name>dfs.namenode.http-address</name>
        <value>namenode:50070</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>namenode:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
 <name>dfs.client.use.datanode.hostname</name>
 <value>true</value>
 <description>only cofig in clients</description>
</property>
</configuration>

配置YARN集群

配置mapred.xml.template文件

cp mapred-site.xml.template mapred-site.xml #有时不用
vim mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/root/hadoop</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/root/hadoop</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/root/hadoop</value>
</property>
</configuration>

配置yarn-site.xml

vim yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>namenode</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>2</value>
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
    <discription>内存,单位MB</discription>
</property>
</configuration>

JAVA环境变量

如果按照yum安装的java，则可以直接在/usr/lib/jvm/jre-xxx下找到对应的jdk

在/etc/profile中加入如下配置（注意版本）

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.312.b07-2.el8_5.x86_64
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME="/root/hadoop-3.3.6"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

然后保存修改

source /etc/profile

集群启动与测试

格式化namenode 只需要在namenode上进行

./bin/hdfs namenode -format

这个部分经常会遇到问题

  1. 当出现ERROR: Cannot execute /usr/local/Hadoop/libexec/hdfs-config.sh
vim /etc/profile
# 修改其中的hadoop_home环境变量为需要的例如
/root/hadoop-xxx
  1. 当出现xxx is not excuete
    检查xml文件（etc目录下）是否有#的注释

启动

首先需要解锁shell中的部分锁定操作‘

vim ./etc/hadoop/hadoop-env.sh
# add
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

需要为每个节点配置其角色，否则其无法运作(网络，自己配置自己)

ssh-copy-id localhost

正式启动

./sbin/start-dfs.sh
./sbin/stop-dfs.sh

验证

./bin/hdfs dfsadmin -report

在这里插入图片描述
当显示存活的节点为3，说明配置完成

可视化

打开可视化端口50070/50090

通过

curl http://公网IP:50070

注意，需要现在阿里云的安全组打开对应的端口

启动YARN

./sbin/start-yarn.sh

看YARN状态

.bin/yarn node -list

Spark配置

版本需要十分注意，注意所有的环境都必须完全匹配，否则将导致无法解决且无法预料的错误!
hadoop 3.3.6
python 3.7.2
spark 3.3.4

python安装

可以使用直接make好的python3.7包

也可以手动安装，借鉴：

https://www.cnblogs.com/LemonSqueezz/p/14308729.html

ln -sf /usr/bin/Python-3.7.2/python /usr/bin/python3

当master安装完之后，可以直接传输过去

Spark配置

可以借鉴

https://blog.csdn.net/GotFull/article/details/123436594

但是原文是基于Spark 3.0的配置，虽然目前未发现bug，但不排除未来会遇到新的问题

Mysql配置

从官网下载Mysql，版本需要自行选择
在这里插入图片描述
将它分发到多个服务器~/source/Package
并创建mysql专属的文件夹/root/platform/mysql
在这里插入图片描述

tar -xvf /root/source/Package/mysql-8.3.0-1.el8.x86_64.rpm-bundle.tar -C /root/platform/mysql

安装sql需要的依赖

yum -y install libaio
yum -y install libncurses*
yum -y install perl perl-devel

在目标文件夹获得许多文件.rpm，分别安装它们：

rpm -ivh ${sql_root}/mysql-community-common-8.3.0-1.el8.x86_64.rpm
rpm -ivh ${sql_root}/mysql-community-client-plugins-8.3.0-1.el8.x86_64.rpm
rpm -ivh ${sql_root}/mysql-community-libs-8.3.0-1.el8.x86_64.rpm
rpm -ivh ${sql_root}/mysql-community-client-8.3.0-1.el8.x86_64.rpm
rpm -ivh ${sql_root}/mysql-community-icu-data-files-8.3.0-1.el8.x86_64.rpm
rpm -ivh ${sql_root}/mysql-community-server-8.3.0-1.el8.x86_64.rpm

注意，在这里很容易出现缺少某个rpm依赖，根据报错额外添加这些rpm即可

启动mysql

systemctl start mysqld.service

查看密码并隐式的将它赋值给变量

password_init=$(cat /var/log/mysqld.log | grep password | awk -F': ' '{print $2}')

重新定义密码

mysql -u root -p
ALTER USER 'root'@'%' IDENTIFIED BY 'password';

基础命令

systemctl stop mysqld
systemctl status mysqld
systemctl start mysqld

% 设置开机自启
systemctl enable mysqld
% Check
systemctl list-unit-files | grep mysqld

下载Hive以及驱动

wget https://mirrors.bfsu.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.37

解压到目的地

tar -zxvf ~/source/Package/apache-hive-3.1.2-bin.tar.gz -C  /root/platform/hive

添加JDBC到hive目录

# 上传mysql-connector-java-5.1.38.jar
cd /opt/server/apache-hive-3.1.2-bin/lib
宅家懒人才顺
关注
  • 8
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop伪分布式配置(在阿里云服务器上搭建)
weixin_43880490的博客
01-19 647
一.搭建前的准备 下载相关的软件jdk,hadoop jdk-8u212-linux-x64.tar.gz: 链接:https://pan.baidu.com/s/1ymwv3szGCsQHmsPCq1ZSjA 密码:qhcn hadoop-2.6.0-cdh5.9.0.tar.gz安装包: http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0...
Hadoop集群配置（二）免密登录和集群配置
学而知之@的博客
05-20 1702
写在开头： 难难难道德玄，不对知音不可谈，对了知音谈几句，不对知音枉费舌尖~~ 咱们书接上回，上一篇写完了基础环境的配置，这篇就来说硕同样重要的免密登录，当然还有Hadoop集群的配置。 2.1 三台linux服务器环境准备 1. 三台机器IP设置 三台机器修改ip地址： # 对网库进行设置 vi /etc/sysconfig/network-scripts/ifcfg-ens33 # hadoop版本IP设置 BOOTPROTO="static" IPADDR=192.168.32.100 NETMA
大数据Hadoop、MapReduce、Hive项目实践
11-09
大数据Hadoop、MapReduce、Hive项目实践
hadoop——环境配置
ply2003的博客
06-26 1875
之前上课的时候我就已经用VMware Workstation 15 player创过了一台虚拟机并做了Hadoop的伪分布式安装，所以就不再从头演示，直接在这基础上接着讲了。
从零开始Hadoop安装和配置（超详细图文步骤）
最新发布
2301_77836489的博客
04-25 4840
从零开始Hadoop安装和配置（超详细图文步骤）
【大数据】Hadoop完全分布式配置（超详细）
X10的博客
01-03 4935
Hadoop完全分布式配置-具体步骤如下默认前提：1.在Windows平台下安装Vmware平台（默认已经安装）2.在Vmware平台上安装Linux操作系统（默认已经安装）这里我已安装的是 Vmware16 和 CentOS7.整理流程我参考的是centos6的文档，centos7的命令与其不同。如修改主机名、关闭防火墙等centos7无法连接Xshell的情况。
Hadoop环境搭建（保姆级教学）
R.W.Y的博客
06-03 8088
HADOOP环境搭建过程详解
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
阿里云产品手册2022-2023版.pdf
11-22
阿里云产品手册2022-2023版详细介绍了阿里云提供的广泛产品和服务，旨在为用户构建安全、高效、灵活的云计算解决方案。作为全球领先的云计算及人工智能科技公司，阿里云的产品线涵盖了从基础设施服务到高级数据分析...
基于OPENSTACK私有云平台上的HADOOP完全分布式环境应用研究.pdf
08-08
多家公司如Cloudera、Hortonworks、MapR等已将其商业化，提供企业级解决方案，国内也有许多科技巨头如百度、阿里巴巴等在Hadoop基础上构建自己的大数据平台。 【需求分析】构建Hadoop完全分布式环境通常需要明确的...
快速开发基于Java的服务端程序，分布式RPC，阿里云快速接入。.zip
03-24
本教程将聚焦于如何快速构建基于Java的服务端程序，并涉及分布式RPC（远程过程调用）技术以及阿里云的快速接入。以下是相关知识点的详细解释： 1. **Java服务端开发**：Java提供的Servlet和JSP技术是构建Web服务的...
Arm架构下的hadoop-aarch64-3.3.1版本安装包
10-21
本篇文章将深入探讨针对Arm架构的Hadoop-aarch64-3.3.1版本的安装包，该版本是专门为在基于Arm的硬件，如阿里云ECS g8m服务器上运行而优化的，并且兼容JDK11。 首先，我们要理解Arm架构。Arm（Advanced RISC ...
Hadoop完全分布式集群——Hadoop 配置
weixin_42264536的博客
05-02 8719
前面已完成VMware虚拟机安装与配置（参考前一篇Hadoop完全分布式集群——VMware虚拟机安装与配置_夏雨和阳阳的博客-CSDN博客），下面将进行Hadoop 配置。 一、slave1、slave2节点配置修改 slave1、slave2节点都需要进行以下操作： 1.开启虚拟机，输入命令： [root@slave1 ~]#ip addr [root@slave2 ~]#ip addr 2.修改slave1、slave2虚拟机的IP [root@slave1 ~]#vi /etc/s
Hadoop集群的配置
qq_54542910的博客
10-19 5367
Hadoop集群的配置，克隆机的配置，免密登录，启动集群等
阿里云服务器搭建hadoop（单机）
weixin_54668083的博客
10-19 1979
在esc上搭建hadoop（单机）
4、最详细教程（Hadoop安装和配置）
qq_18734277的博客
03-31 1787
Hadoop配置文件放在 /usr/local/src/hadoop-3.2.4/etc/hadoop/目录下，我的Hadoop解压目录为/usr/local/src/，进入配置文件目录开始编辑配置文件。上传方式介绍2种，一种是通过finallshell上传，一种是使用scp上传，我的是上传到/opt目录下了。根据基础设置部分/etc/hosts主机映射名称修改，我的从节点为slave1，所以修改为slave1。本步骤在从机中操作，如果未写在从机还是主机，都在主机中操作。【虚拟机】-【管理】-【克隆】
hadoop简单介绍安装和配置
cxzaiwyy的博客
02-03 1533
hadoop的基本介绍和基本使用
【云平台技术】Hadoop全分布式安装与配置
qq_51941741的博客
06-29 9592
目录 一、虚拟机安装 1、创建虚拟机 2、虚拟机启动初始化 二、 虚拟机克隆 三、Linux系统的网络配置 1、准备工作 2、 主机名和IP映射 2.1 配置主机名 2.2 配置IP映射 3、网络参数配置 四、SSH服务配置 1、生成密钥文件 2、将本机公钥文件复制到其他虚拟机上 五、JDK安装和Hadoop安装 1、准备安装包 2、下载安装软件Xshell 3、安装JDK（所有虚拟机都要操作） 3.1 传输文件 3.2 解压JDK 3.3 重命名JDK
阿里云服务器下hadoop安装与配置
10-11
阿里云服务器下Hadoop安装与配置步骤如下： 1. 安装Java环境： yum install java-1.8.0-openjdk-devel 2. 下载Hadoop安装包： wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz 3. 解压安装包： tar -zxvf hadoop-3.3.0.tar.gz 4. 配置环境变量： a. 编辑hadoop-env.sh文件： cd hadoop-3.3.0/etc/hadoop/ vim hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk b. 编辑bashrc文件： vim ~/.bashrc export HADOOP_HOME=/root/hadoop-3.3.0 export PATH=$PATH:$HADOOP_HOME/bin source ~/.bashrc 5. 配置Hadoop： a. 配置hdfs-site.xml： cd hadoop-3.3.0/etc/hadoop/ cp hdfs-site.xml.template hdfs-site.xml vim hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> b. 配置core-site.xml： cp core-site.xml.template core-site.xml vim core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> 6. 格式化HDFS： hdfs namenode -format 7. 启动Hadoop： start-all.sh 8. 检查Hadoop状态： jps 9. 停止Hadoop： stop-all.sh

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值