Hadoop3.x 环境搭建&&填坑

最新推荐文章于 2024-06-09 22:28:28 发布
最新推荐文章于 2024-06-09 22:28:28 发布
阅读量441 收藏 4
点赞数
分类专栏： 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/summer12580/article/details/108044342
版权

Hadoop3.x 环境搭建&&填坑

环境配置 && 安装JDK && 安装Hadoop

笔者自学大数据笔记

  1. 设置静态IP

    vim /etc/sysconfig/network-scripts/ifcfg-eth0

NAME=eth0
DEVICE=eth0
BOOTPROTO=static
ONBOOT=yes
HWADDR=00:50:56:25:71:6a
IPADDR=192.168.0.111
GATEWAY=192.168.0.1
DNS1=192.168.0.1

# 保存退出

  2. 修改主机名

    vim /etc/sysconfig/network

HOSTNAME=hadoop01

  3. 关闭防火墙

    # 关闭防火墙 (开启:start,重启:restart,关闭:stop,状态:status,开启自启动:enable,关闭自启动:disable)
systemctl stop firewalld
# 重启防火墙这样也可以
firewall-cmd --reload

# 关闭防火墙自启动
systemctl disable firewalld
# 列出开放的所有端口
firewall-cmd --list-ports
# 查询某个端口是否开放 eg:3306  响应:yes或no
firewall-cmd --zone=public --query-port=3306/tcp
# 添加防火墙端口后,要重启防火墙才生效
# 添加一个端口  eg:3306    持久开启(服务器重启,依然保持开启状态,不添加则属于临时添加端口): --permanent
firewall-cmd --zone=public --add-port=3306/tcp --permanent
# 添加一组连续的端口  eg:3306,3307,3308,3309
firewall-cmd --zone=public --add-port=3306-3309/tcp --permanent

  4. 创建dev用户

    #创建用户  默认创建分组(名跟用户名一样)并将用户添加到该组中
useradd dev

# 创建分组  eg:新建分组devgroup
groupadd devgroup
# 新建用户同时添加分组  eg:新建用户aaa并将其添加到已有的devgroup分组中
useradd -g devgroup aaa
# 给已有用户添加分组 eg:将已存在用户dev添加到已存在分组devgroup中
usermod -G devgroup dev
# 查询centos7目前有哪些用户 # cut -d : -f 1 /etc/passwd
cat /etc/passwd
# 查询目前用户分组情况
cat /etc/group

  5. 配置hadoop具有root权限

    1. 先用root账户修改 /etc/sudoers 文件权限为可编辑,默认只读 (-r–r-----)

    2. 修改文件 添加用户权限

    3. 改回 /etc/sudoers 文件权限为只读

    #步骤1)
chmod 777 /etc/sudoers

#步骤 2)
vim /etc/sudoers
# 复制 [ root    ALL=(ALL)       ALL ]  这行添加在下面修改下用户名就可以  eg:dev用户添加具有root权限
## Allow root to run any commands anywhere 
root    ALL=(ALL)       ALL
dev    ALL=(ALL)       ALL
# 保存退出

#步骤3)
chmod 440 /etc/sudoers

  6. /opt目录创建module software文件夹

    mkdir /opt/software /opt/module

  7. 修改module software文件夹所有者为dev用户:dev分组

    # -R 递归文件夹,修改文件,文件夹拥有者
chown -R dev:dev /opt/software /opt/module

  8. 安装JDK(上传压缩包,解压,配置环境变量,配置文件生效source一下),此处略过~~

  9. 安装hadoop(上传压缩包,解压,配置环境变量 bin目录 && sbin目录 ,配置文件生效source一下),此处略过~~

Hadoop运行模式之单机模式(官网Grep+WordCount案例)

官方Grep案例

  1. 在hadoop-3.3.0文件夹下面创建一个input文件夹

    mkdir input

  2. 将hadoop的etc文件夹下xml配置文件复制到input 注意:output文件夹不能存在,否则报错文件已存在异常 FileAlreadyExistsException: Output directory file:/opt/module/hadoop-3.3.0/output already exists

    cp /opt/module/hadoop-3.3.0/etc/hadoop/*.xml ../../input

  3. 执行share目录下的MapReduce程序

    如果遇到执行程序找不到主类: 看你执行命令是否为 hadoop jar xxx,以为hadoop xxx就可以啦O~O

    error : [ 错误: 找不到或无法加载主类 share.hadoop.mapreduce.hadoop-mapreduce-examples-3.3.0.jar ]

    hadoop jar /opt/module/hadoop-3.3.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar grep input output 'dfs[a-z.]+'

  4. 查看输出结果

    cat output/part-r-00000

# 显示结果
1	dfsadmin

官方WordCount案例

  1. 在hadoop-3.3.0文件夹下面创建一个wcinput文件夹

    mkdir wcinput

  2. 在 wcinput 文件下创建一个 wc.txt文件,并添加内容

    # 创建文件命令 # touch wc.txt
vim wc.txt

# wc.txt文件内容 随意单词 eg:↓↓↓
hello word map reduce yarn 
hadoop hadoop dev dev test
test test aaa
cechsi namenode datanode resourcemanager
who
am
i

# 保存退出 :wq

  3. 回到hadoop-3.3.0文件夹下执行wordcount程序

    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount wcinput/wc.txt output

  4. 查看结果

    cat wcoutput/part-r-00000

# 显示结果
aaa	1
am	1
cechsi	1
datanode	1
dev	2
hadoop	2
hello	1
i	1
map	1
namenode	1
reduce	1
resourcemanager	1
test	3
who	1
word	1
yarn	1

Hadoop运行模式之伪分布式模式

1. 分析

1）配置集群

2）启动，测试集群增/删/改

3）执行WordCoung案例

2. 步骤

1）配置集群

  • 配置hadoop文件夹下etc/hadoop/adoop-env.sh

    # 查看 $JAVA_HOME
echo $JAVA_HOME
/opt/module/jdk1.8.0_221/bin

# 修改etc/hadoop/adoop-env.sh中JAVA_HOME配置
export JAVA_HOME=/opt/module/jdk1.8.0_221/bin
# 保存退出 :wq

  • 配置core-site.xml

    <!-- 指定HDFS 中 NameNode 的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop101:9000</value>
</property>

<!-- 指定Hadoop 运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-3.3.0/data/tmp</value>
</property>

  • 配置hfs-site.xml

    <!-- 指定HDFS 副本的数量,默认副本数:3 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

2）启动集群(hadoop文件夹下)

  • 格式化NameNode(第一次启动时格式化，以后就不要总格式化)

    	bin/hdfs namenode -format

  • 启动NameNode

    	sbin/hadoop-daemon.sh start namenode

  • 启动DataNode

    	sbin/hadoop-daemon.sh start datanode

    3）查看集群

  • 查看集群是否启动成功
jps

4755 DataNode
4835 Jps
4630 NameNode
  • WEB端查看HDFS
# hadoop3.x 版本
http://hadoop01:9870
# hadoop2.x版本
http://hadoop01:50070
  • 查看产生的log日志

在这里插入图片描述

问题

  • 思考：为什么不能一直格式化 NameNode，格式化NameNode，要注意什么？

注意：格式化NameNode，会产生新的集群 id,导致 NameNode 和DataNode 的集群 id 不一致，集群找不到已往数据。所以，格式 NameNode 时，一定要先删除data 数据和 log 日志，然后再格式化 NameNode

# 查看namenode集群ID
cat data/tmp/dfs/name/current/VERSION

namespaceID=851295736
clusterID=CID-2c00d4b3-1b98-4914-9d80-853c104b65f1

# 查看datanode 集群ID（会发现和namenode中箪集群ID完全一样）
cat data/tmp/dfs/data/current/VERSION

clusterID=CID-2c00d4b3-1b98-4914-9d80-853c104b65f1
datanodeUuid=9fc063f9-dad5-4ac9-a7e9-512a35782361

4）操作集群

下面开始填坑

端口: 50070 ----> 9870

错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

主机执行hadoop classpath,hadoop3.x版本需要配置hadoop classpath,然后重启yarn
vim yarn-site.xml 添加一个配置 hadoop classpath

<property>
        <name>yarn.application.classpath</name>    <value>/opt/module/hadoop-3.3.0/etc/hadoop:/opt/module/hadoop-3.3.0/share/hadoop/common/lib/*:/opt/module/hadoop-3.3.0/share/hadoop/common/*:/opt/module/hadoop-3.3.0/share/hadoop/hdfs:/opt/module/hadoop-3.3.0/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.3.0/share/hadoop/hdfs/*:/opt/module/hadoop-3.3.0/share/hadoop/mapreduce/*:/opt/module/hadoop-3.3.0/share/hadoop/yarn:/opt/module/hadoop-3.3.0/share/hadoop/yarn/lib/*:/opt/module/hadoop-3.3.0/share/hadoop/yarn/*</value>
</property>

执行rsync 命令报错 ===> 需要同步的服务器都要安装这个命令(同步和被同步的机器)

bash: rsync: 未找到命令
rsync: connection unexpectedly closed (0 bytes received so far) [sender]
rsync error: remote command not found (code 127) at io.c(226) [sender=3.1.2]

集群配置文件修改

集群配置 corsite.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop02:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.3.0/data/tmp</value>

</property>

修改hadoop-env.sh  &&  yarn-env.sh  &&  mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_221

vim hdfs.site.xml

<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop04:50090</value>
</property>

yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop03</value>
</property>

mapred-site.xml

<!-- 指定MR运行在Yarn上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

etc/hadoop/workers # 替换2.x版本的slaves

192.168.0.112
192.168.0.113
192.168.0.114

安装时间同步器

yum install ntpd

有点乱 嘻嘻

保龄球
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
weixin_45140946的博客
02-27 2702
错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster 解决： 在yarn-site.xml和mapred-site.xml中添加如下依赖 <property> <name>yarn.application.classpath</name> <value>/usr/etc/hadoop-3.2.2/etc/hadoop:/usr/etc/hadoop-3.2.2
hadoop3.3.1搭建过程遇到的坑
m0_60311330的博客
07-25 962
昨天搭建hadoop3.3.1，https://blog.csdn.net/m0_60311330/article/details/119063272。现整理一下搭建过程遇到的坑。 1、IP地址配置相同（相似），导致xshell连接服务器非常不稳定，频繁断开 在家里的局域网配置地址之后，如果出现相同的地址，会导致xshell连接非常不稳定，一直断开连接。 如下图所示，旧集群hadoop101到hadoop103 的地址是 192.168.100.101到192.168.100.103，而新集群d_hadoo
Hadoop 3.x（入门）----【Hadoop概述】
是微风，是晚霞，是无可替代
09-02 728
Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。NameNode（nn）：存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的 DataNode 等。DataNode（dn）：在本地文件系统存储文件块数据，以及块数据的校验和。Seconddary NameNode（2nn）：每隔一段时间对 NameNode 元数据备份。
Hadoop 3.x完整使用的 集群搭建 (月薪过万 第四章)
小坏说后端
07-08 640
Hadoop 3.x完整使用的 集群搭建一、介绍一、准备环节1、三台虚拟机2、安装依赖1. 安装net-too2. 安装 vim3. 关闭防火墙4. 创建用户5. 配置 hadoop100 用户具有 root 权限6. 在/opt 目录下创建文件夹二、Hadoop集群配置1、克隆三台机器2、初始化虚拟机三步骤1. 修改静态ip2. 查看 Linux 虚拟机的虚拟网络编辑器3. 查看 Windows 系统适配器 VMware Network Adapter VMnet8 的 IP 地址4. 修改克隆机主机名5
Hadoop 实战：找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
最新发布
SmartSi
06-09 849
在运行 Hive SQL 程序时抛出异常，查看 YARN 的 resourcemanager 日志发现异常
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
Coco5419的博客
06-26 1540
自己搭建了一套伪分布的大数据环境，运行Hadoop包中自带的示例时，出现如下错误： 错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster 原因： hadoop集群上运行build动作时提示以上错误，原因是yarn-site.xml和mapred-site.xml中的yarn.application.classpa...
第一课 大数据技术之Hadoop3.x环境搭建
QnHyn
06-10 529
hadoop
Windows10系统下Hadoop和Hive开发环境搭建填坑指南
m0_67698950的博客
05-25 1122
前提# 笔者目前需要搭建数据平台，发现了Windows系统下，Hadoop和Hive等组件的安装和运行存在大量的坑，而本着有坑必填的目标，笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了Windows10系统下Hadoop和Hive开发环境的搭建。这篇文章记录了整个搭建过程中的具体步骤、遇到的问题和对应的解决方案。 环境准备# 基于笔者的软件版本洁癖，所有选用的组件都会使用当前（2020-10-30）最高的版本。 下面列举部分组件对应的下载地址： Apache Hadoop
全Hadoop2.x版本安装套路（以Hadoop2.6.0为例）
chanson_dog的博客
01-07 4678
引言 本人是一枚大学生，初探大数据Hadoop安装套路，详细描述安装过程及其我所认知的步骤因果，作为一段时间学习的成果，也希望能与大家一起交流。 众所周知，自“大数据”概念劈头盖脸袭来后，各路人士都跃跃欲试想开一开大数据的车，那么鼎鼎大名的Hadoop理所当然被大家盯上啦，所以想掀开大数据的面纱就先得老老实实把Hadoop这头小象把玩一番。话不多说，今天的重头戏是Hadoop的安装。 再吐槽一下
【Hadoop集群】-集群搭建踩的那些坑之ssh篇
航帆远洋
12-05 3279
       用hadoop搭建的集群在启动时子节点一直无法连接到主节点，在使用hadoop集群时一直报错，也就是集群并没有搭建成功，导致了出现了上面的报错信息org.apache.hadoop.ipc.Client: Retrying connect to server: hadoop-master/192.168.1.130:9000. Already tried 0 time(s); ret...
【Docker x Hadoop】使用 Docker 搭建 Hadoop 集群（从零开始保姆级）
Ice__Clean的博客
10-03 2447
—— 步骤 ——0. 背景1. 创建出第一个容器2. 为该容器配置 java 和 hadoop 环境3. 配置允许外界通过 ssh 连接容器4. 由该容器克隆出多个容器5. 为各个容器配置 ssh 免密登录6. 开始编写集群配置7. 启动集群 0. 背景 看到网上的教程，都是使用虚拟机克隆出多台虚拟机模拟集群 但在真正的服务器上，发现这种方法行不通了 这时候就想起 Docker 了，仔细想象 Docker 学完到现在还没真正实战过，这次正好是一个好机会 实现思路也很简单，在 Docker 中创建多个 Ce
最最最详细的Hadoop+HBase+Zookeeper+Hive完全分布式环境搭建教程
qq_38497133的博客
06-29 3634
文章目录一、准备工作二、hadoop搭建1.配置主机名和主机列表2.配置免密登录3.配置环境变量4.配置hadoop配置文件三、HBase配置1.配置hbase-site.xml文件2.配置hbase-env.sh文件3.配置log4j.properties文件4.配置regionservers四、集群搭建1.修改hdfs-site.xml文件2.修改slaves文件3.复制到另外两台机器上五、Zookeeper搭建1.配置zoo.cfg文件2.创建myid文件并启动zookeeper3.启动hbase4.
Hadoop安装一套完结
xiaoyixiao_的博客
02-07 1471
Hadoop安装一套完结
hadoop之调优简介
cxzaiwyy的博客
02-09 690
HDFS核心简介
解决运行 Hadoop MapReduce 任务时错误: 找不到或无法加载主类
学而不思则忘
09-03 8463
在运行 WordCount 实例时，出现了一个错误：“错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster”。 搜了很久发现要在 mapred-site.xml 文件中添加 mapreduce 程序所用到的 classpath。 解决方法： 编辑 Hadoop 安装目录下 etc/hadoop/mapred-site.xml 文...
大数据开发之Hadoop学习3--Hadoop运行模式
LCreator的博客
03-01 1107
Hadoop运行模式 目录 Hadoop运行模式 4.1 本地运行模式（官方wordcount） 4.2 完全分布式运行模式 4.2.1 虚拟机准备 4.2.2 编写集群分发脚本xsync 4.2.3 SSH无密登录配置 4.2.4 集群配置 4.2.5 群起集群 4.2.6 集群启动/停止方式总结 4.2.7 配置历史服务器 4.2.8 配置日志的聚集 4.2.9 集群时间同步 Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 Hadoop官方网站：.
HADOOP学习：配置伪分布式集群
l1682686的博客
07-31 1258
写在前面：2020年找到工作，转岗JAVA大数据。之前写前后端，约等于从零开始，所以仅记录一下自己的学习路线，免得以后忘了~ Hadoop 3.3.0配置伪分布式 一、 1.1 准备工作 在虚拟机上装好centOS8，注册用户hadoop 在主文件夹中新建文件夹app，将下载好的hadoop3.3.0.tar.gz与jdk一同传入虚拟机中。(使用vmware tools） 解压程序包，命令：tar –zxvf (file_name) 创建软链接，命令：ln -s (file_name) 1.2：配置
在命令行中运行Hadoop自带的WordCount程序
热门推荐
Alexwym的博客
09-07 1万+
Hadoop集群搭建完之后，接下来就需要开始尝试去使用它啦。我们可以在这个集群上运行Hadoop的“Hello World程序”——WordCount单词计数。这个程序的代码在我们下载安装Hadoop的时候就已经打包下载好了，我们只需要直接去使用就可以了。 （一）、启动hdfs进程服务： 进入hadoop的目录中：cd Hadoop/hadoop-2.7.7 进入相应目录后启动HDFS的进程...
Hadoop2.x环境搭建：sh文件解析与服务启动
本文主要介绍了如何在Hadoop环境中浏览.sh文件内容，以及Hadoop2.x的全面学习，包括伪分布式安装步骤和关键组件的功能。首先，理解Hadoop的目录结构非常重要，它通常包含bin（执行脚本）、etc（配置文件）、include...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

保龄球

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值