hadoop部署（大数据开发）

已于 2024-04-06 16:22:10 修改
阅读量2.4k 收藏 37
点赞数 68
分类专栏： 工具 文章标签： 大数据 hadoop
于 2024-03-31 22:39:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_75027717/article/details/137211303
版权

不知名小白

Email : 3627644202@qq.com

 Time of completion：2024.3.31

HADOOP部署过程

1. Hadoop的部署

（1）安装配置虚拟机：

  • 安装vm17
  • 安装centos7
  • 将不需要的硬件全部移除

选择NAT

  1. 软件选择：计算节点 / 带GUI的服务器
  2. 安装位置：整个20G的硬盘，点进去，点确定出来。
  3. 网络与主机名：（要查看网络适配器）
  • （1） 打开网络。记录IP段和默认路由IP
  • （2） 静态IP： 配置－＞IPV4 ->方法:手动 -> Add -> DNS ***
  •  主机名的修改。

 

  • 输入root密码，新建hadoop用户。建议密码：123        

  • 使用ifconfig显示 IP， 并使用远程链接软件连接它。成功。关机

（Xshell远程连接）  

  • 使用VMware，新建一个快照 snapshot

（2）配置基础环境（以root权限登录，su命令）：

  • 修改机器名：vi /etc/hostname
  • 修改IP地址vi  /etc/sysconfig/network-scripts/ifcfg-ens33
  • 机器互认： vi /etc/hosts
  • 关闭防火墙systemctl disable firewalld.service
  • 关闭SELINUX vi /etc/selinux/config
  • Reboot

（3）安装JDK和Hadoop：

  • Xftp传输文件
  • tar -zxf 命令将安装包解压，将解压后的目录放到合适的地方

推荐：/home/hadoop/program

tar -zxf hadoop-3.3.1.tar.gz

tar -zxf jdk-8u333-linux-x64.tar.gz

Hadoop目录：/home/hadoop/program/hadoop-3.3

JDK目录：/home/hadoop/program/jdk-1.8

  • 在命令行中键入

export JAVA_HOME=/home/hadoop/program/jdk-1.8

export PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=/home/hadoop/program/hadoop-3.3

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

  • 测试

java -version

hadoop version

  • 将上述export语句写入  .bashrc 文件中， 并source .bashrc

（4）Hadoop 配置：

  • 文件配置

vi core-site.xml

       vi hdfs-site.xml

  • Ssh免密登陆

cd

ssh-keygen

ssh-copy-id localhost

  • local mode

cd $HADOOP_HOME

mkdir input

cp etc/hadoop/*.xml input

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar grep input output 'dfs[a-z.]+'

cat output/*

  • pesodu-distributed mode
  • HDFS启动并测试

cd $HADOOP_HOME

rm -rf output

bin/hdfs namenode -format

sbin/start-all.sh

bin/hdfs dfs -mkdir -p /user/hadoop

bin/hdfs dfs -mkdir input

bin/hdfs dfs -put etc/hadoop/*.xml input

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar grep input output 'dfs[a-z.]+'

bin/hdfs dfs -get output

cat output/*

（5）伪分布式Hadoop：

  • 文件配置

vi mapred-site.xml

vi yarn-site.xml

  • 修改 .bashrc

cd

vi .bashrc

   export HADOOP_MAPRED_HOME=$HADOOP_HOME

source .bashrc

  • 测试

cd $HADOOP_HOME

start-dfs.sh

start-yarn.sh

bin/hdfs dfs -mkdir -p /user/hadoop

bin/hdfs dfs -mkdir input

bin/hdfs dfs -put etc/hadoop/*.xml input

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar grep input output 'dfs[a-z.]+'

bin/hdfs dfs -cat output/*

（6）全分布式Hadoop：

  • 每台机器

每台机器都认识集群中的所有成员 /etc/hosts，

防火墙关闭

systemctl disable firewalld

  • selinux关闭

vi /etc/selinux/config

selinux=disabled

  • SSH让所有机器，都可以免密互相登录

[所有机器]：

cd

rm -rf .ssh

ssh-keygen

ssh-copy-id bd0

ssh-copy-id bd1

ssh-copy-id bd2

[bd0]

cd

cd .ssh

scp authorized_keys hadoop@bd1:/home/hadoop/.ssh

scp authorized_keys hadoop@bd2:/home/hadoop/.ssh

  • 增加伪分布式模式下的一些参数

[bd0]:

stop-yarn.sh

stop-dfs.sh

[bd0操作，推向所有机器]:

[bd0]

vi workers

vi yarn-site.xml

  • 分发软件：

cd

scp -r program hadoop@bd1:/home/hadoop/

scp -r program hadoop@bd2:/home/hadoop/

scp .bashrc hadoop@bd1:/home/hadoop/

scp .bashrc hadoop@bd2:/home/hadoop/

[bd1]

source .bashrc

[bd2]

source .bashrc

[bd0]

hdfs namenode -format

  • [bd0]测试：

cd $HADOOP_HOME

start-dfs.sh

start-yarn.sh

bin/hdfs dfs -mkdir -p /user/hadoop

bin/hdfs dfs -mkdir input

bin/hdfs dfs -put etc/hadoop/*.xml input

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar grep input output 'dfs[a-z.]+'

bin/hdfs dfs -cat output/*

8080:

（7）Spark安装：

  • 下载spark及配套的scala

scala:    https://www.scala-lang.org/download/2.12.15.html

spark:    https://spark.apache.org/downloads

注意与Hadoop，Scala版本的选择

  • 解压软件包

tar -zxf scala-2.12.15.tgz

tar -zxf spark-3.5.0-bin-hadoop3.tgz

规划：

/home/hadoop/program/spark-3.5.0-bin-hadoop3

/home/hadoop/program/scala-2.12.15

  • 写配置文件

export SCALA_HOME=/home/hadoop/program/scala-2.12.15

export SPARK_HOME=/home/hadoop/program/spark-3.5.0-bin-hadoop3

export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$SCALA_HOME/bin:$PATH

  • 测试：

（8）YARN模式安装

  • vi .bashrc

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

source .bashrc

  • vi $HADOOP_CONF_DIR/yarn-site.xml

  • 分发

  • 测试

（9）python安装

  1. python 安装：

[root]

yum search python3

yum install python3-devel.x86_64

部署心得

Hadoop的部署是一个相对复杂的过程，需要进行多个环境配置和软件安装。以下是一些心得和注意事项：

  1. 虚拟机和操作系统选择：在部署Hadoop之前，需要选择合适的虚拟机软件和操作系统。在示例中，选择了VMware虚拟机和CentOS 7操作系统。确保选择的虚拟机软件和操作系统与Hadoop版本兼容。
  2. 基础环境配置：在安装和配置虚拟机后，需要进行一系列基础环境配置，包括修改机器名、设置IP地址、关闭防火墙和SELinux等。这些配置是为了确保各个节点之间能够正常通信和互相识别。
  3. JDK和Hadoop安装：在配置基础环境后，需要安装JDK和Hadoop。确保正确设置JAVA_HOME和HADOOP_HOME环境变量，并在.bashrc文件中添加相应的配置。安装过程中可以使用tar命令解压安装包，并将解压后的目录放在适当的位置。
  4. 文件配置：Hadoop的配置文件对于集群的正常运行非常重要。在部署过程中，需要编辑core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等文件，根据实际情况配置各个节点的相关参数。确保配置文件中的各项设置正确无误。
  5. SSH免密登录：为了方便节点之间的通信，需要进行SSH免密登录的配置。在每个节点上生成SSH密钥，并将公钥复制到其他节点上，以实现节点之间的无密码登录。
  6. 启动和测试：完成上述配置后，可以启动Hadoop并进行测试。根据部署模式的不同，可以选择本地模式、伪分布式模式或全分布式模式进行测试。确保HDFS和YARN服务正常启动，并能够执行基本的Hadoop操作，如创建目录、上传文件和运行示例程序。
  7. 全分布式部署：如果需要进行全分布式部署，需要在每个节点上进行相应的配置和软件分发。确保所有节点都能够识别集群中的其他成员，并配置相关参数。在分发软件时，可以使用scp命令将安装包和配置文件复制到其他节点上。
  8. 注意事项：在部署过程中，需要注意以下几点：

a.确保各个节点之间的网络连接正常，能够相互通信。

b.配置文件中的参数要与实际环境和需求相匹配，避免配置错误导致集群无法正常运行。

c.检查防火墙和SELinux的设置，确保它们不会影响Hadoop的正常运行。

d.在部署过程中，及时备份重要的配置文件和数据，以防止意外情况发生。

解决问题：

  • 出现command not found错误：

解决：

  1. 检查~/.bashrc文件中是否配置了正确的PATH
  2. 如果~/.bashrc设置正确，是否没有执行source ~/.bashrc 使环境变量生效

  • 没有datanode进程：

解决：

a. NameNode没有格式

b. 环境变量配置错误

c. Ip和hostname绑定失败，需要通过ip a查看ip地址，重新配置/etc/hosts文件，设置正确的ip和hostname

d. hostname含有特殊符号如.(符号点)，会被误解析

e. reboot重启

  • 启动dfs有datanode启动yarn没有datanode（资源被占用了）

解决：

  1. 配置YARN资源管理器

<property>

  <name>yarn.nodemanager.resource.memory-mb</name>

  <value>1024</value>

</property>

  1. 配置DFS副本数量

<property>

  <name>dfs.replication</name>

  <value>2</value>

</property>

  • 节点无法相互通信：

解决：

a.检查节点的网络配置，确保每个节点都能够互相ping通。

b.检查防火墙和路由器设置，确保不会阻止节点之间的通信。

c.检查SSH免密登录配置，确保每个节点都能够通过SSH无密码登录其他节点。

  • HDFS初始化失败：

解决：

报错：error parsing conf core-site.xml

  1. 检查core-site.xml配置文件是否出错了，用vim命令可以再修改。  

  1. 这里出错可以看一下日志报告的什么错误，比如我的这个就是name打错成了neme，修改过后就初始化成功了。
  1. no rount to host
  1. 查看防火墙是否关闭
  2. 查看ip是否修改正确
  3. 查看/etc/hosts文件是否配置。

  • permision相关问题

解决：

是权限问题，执行下列代码

a. chown -R hadoop:hadoop /home/hadoop

b. chmod 700 /home/hadoop

c. chmod 700 /home/hadoop/.ssh

d. chmod 644 /home/hadoop/.ssh/authorized_keys

e. chmod 600 /home/hadoop/.ssh/id_rsa

同时查看hadoop文件夹下的每个文件是否都是hadoop组下的hadoop用户，否则就要重新设置用户了。

  • 没有namenode

解决：

试试看重新格式化，hadoop namenode -format

如果感觉对您有用，请点个关注支持一下吧

一头甲
关注
  • 68
    点赞
  • 踩
  • 37
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop大数据_安装jdk、hadoop
lhy857的博客
04-10 2345
安装jdk 一、开启网络,ifconfig指令查看ip 二、修改主机名 hostnamectl set-hostname hadoop 三、查看防火墙状态并打开防火墙 1.firewall-cmd --state查看防火墙状态 2.systemctl start iptables.service打开防火墙 3.reboot 重启Linux 四、删除已有的jdk 查看java安装版本：java -version 查看java安装包：rpm -qa|grep java 删除java安装包：
hadoop安装部署
weixin_48143996的博客
10-06 3万+
hadoop安装部署 这里写目录标题hadoop安装部署安装流程1、Hadoop安装部署1、1Hadoop安装部署 安装流程 1、 上传软件包到管理节点，在管理节点解压并配置 2、 将修改完的解压包，远程拷贝到所有的从节点 3、 启动软件 1、Hadoop安装部署 1、1Hadoop安装部署 1、 软件包上传并解压 a) tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C …/servers/ 2、 第二步查看hadoop支持的压缩方式以及本
大数据之Hadoop部署
最新发布
weixin_44585288的博客
06-27 946
搭建一个Hadoop集群涉及到多个步骤，包括服务器规划， 服务器环境准备，配置SSH无密码登录，安装Java，安装Hadoop，配置Hadoop，以及格式化和启动Hadoop集群。文章介绍了在三台CentOS系统服务器上搭建Hadoop集群的必要步骤和详细的描述，基于该方法可以把hadoop部署到任意多的机器上。
Hadoop部署
weixin_45055846的博客
09-26 2748
1 Linux系统安装 1.1 VM安装 官方下载 1.2、CentOS安装 省略 密码：hadoop 1.3、修改虚拟机网络 1）查看虚拟网络编辑器 2）修改ip地址 3）查看网关 4）查看windows环境的中VMnet8网络配置 1.4、Linux主机名、IP配置 1.4.1、修改主机名 切换到root su root [root@localhost ~]# vi /etc/hostname 生效需要重启linux（可暂不重启） [root@localhost ~]# reboot 1.4.2、修改I
hadoop的单机版测试和集群节点的搭建
Treasured ——的博客
04-10 692
Hadoop技术原理： Hdfs主要模块：NameNode、DataNode Yarn主要模块：ResourceManager、NodeManager HDFS主要模块及运行原理： 1）NameNode： 功能：是整个文件系统的管理节点。维护整个文件系统的文件目录树，文件/目录的元数据和 每个文件对应的数据块列表。接收用户的请求。 2）DataNode： 功能：是HA（高可用性）的一个解...
hadoop大数据课程设计
06-15
【标题】"hadoop大数据课程设计"涉及到的核心技术是Hadoop，这是一个开源的分布式计算框架，主要用于处理和存储海量数据。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，前者提供高容错...
Hadoop大数据开发实战-教学大纲.pdf
12-23
经过十多年的发展，目前Hadoop已经成长为一个全栈式的大数据技术生态圈，并在事实上成为应用最广泛最具有代表性的大数据技术。因此，学习Hadoop技术是从事大数据行业工作所必不可少的一步。 二、 课程的任务 通过本...
Hadoop大数据开发基础_教案.rar
07-04
《Hadoop大数据开发基础》教程主要涵盖了大数据处理领域中的核心框架——Hadoop的全面学习。这份教案详尽地讲解了从Hadoop的基本概念到实际项目应用的各个环节，旨在帮助初学者掌握Hadoop的大数据处理能力。 第一章...
大数据Hadoop安装部署文档
04-21
以上就是Hadoop在Windows和Linux上伪分布式安装的详细步骤，以及如何集成Eclipse开发环境、使用Hadoop UI监控集群状态和运行WordCount实例的具体方法。希望这些内容能够帮助读者顺利完成Hadoop的学习和实践。
Hadoop（部署篇）
qq_40322236的博客
02-05 1397
Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。
GitChat·大数据 | 史上最详细的Hadoop环境搭建
热门推荐
技术杂谈
09-05 4万+
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
保姆级丨Hadoop部署
尼泊罗河伯的博客
07-31 1210
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop HA部署（阿里云）
Student_xx的博客
01-21 1万+
1.阿里云添加实例（3台） 点击控制台 进入云服务器ECS 点击创建实例 选择按量付费，区域以及资源大小，完成之后点击下一步 默认点下一步 点击下一步，其它的参照下图配置 默认点下一步 检查箭头所指几项，创建实例 2.前置环境配置 在web界面中的运维管理里边开放相关（也可以是所有）端口 关闭防火墙 3台全做 [root@ruozedata001 ~]# systemctl stop firewalld [root@ruozedata001 ~]# [root@ruozedata001 ~
hadoop集群部署
Cat God 007的博客
04-19 7044
hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构, 是一个存储系统+计算框架的软件框架，主要解决海量数据存储与计算的问题，是大数据技术中的基石。 Hadoop以一种可靠、高效、可伸缩的方式进行数据处理，用户可以在不了解分布式底层细节的情况下，开发分布式程序，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 hadoo
hadoop的部署
windowsworld的博客
08-18 861
1.hadoop本地部署 1.建立hadoop用户，并且设置密码 [root@server5 ~]# useradd -u 1000 hadoop [root@server5 ~]# passwd hadoop 2.以hadoop用户使用hadoop与java的压缩包 [root@server5 ~]# ls hadoop-3.0.3.tar.gz jdk-8u181-linux-x64.ta...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值