Hadoop单机版搭建

最新推荐文章于 2024-05-11 20:27:30 发布
最新推荐文章于 2024-05-11 20:27:30 发布
阅读量713 收藏 3
点赞数
分类专栏： hadoop 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pjsdsg/article/details/106210141
版权

1. Jar包准备

在上一篇博客中已经准备好linux环境，看本篇博客之前请看楼主上一篇大数据简介博客，准备系统环境
下载以下jar包，传入linux服务器的opt目录下
hadoop-2.7.2-src.tar.gz ，apache-maven-3.6.0-bin.tar.gz，apache-ant-1.9.15-bin.tar.gz，protobuf-2.5.0.tar.gz

1.1 安装maven

# 1. 解压maven包
tar -zxvf apache-maven-3.6.0-bin.tar.gz
# 2. 修改profile文件
vim /etc/profile
# 3. 添加以下配置
export MAVEN_HOME=/opt/apache-maven-3.6.0
export PATH=$PATH:$MAVEN_HOME/bin
# 4. 文件生效
source /etc/profile
# 5. 验证
mvn -version

在这里插入图片描述

1.2 安装ant

# 1. 解压ant包
tar -zxvf apache-ant-1.9.15-bin.tar.gz
# 2. 修改profile文件
vim /etc/profile
# 3. 添加以下配置
export ANT_HOME=/opt/apache-ant-1.9.15
export PATH=$PATH:$ANT_HOME/bin
# 4. 文件生效
source /etc/profile
# 5. 验证
ant -version

在这里插入图片描述

1.3 安装glibc-headers和g++

yum install -y glibc-headers
yum install -y gcc-c++

1.4 安装make和cmake

yum install -y make
yum install -y cmake

1.5 安装protobuf

# 1. 解压protobuf包
tar -zxvf protobuf-2.5.0.tar.gz
# 2. 进入目录
cd protobuf-2.5.0
# 3. 编译
./configure
make
make check
make install
ldconfig
# 4. 修改profile文件
vim /etc/profile
# 5. 添加以下配置
export PROTOBUF_PATH=/opt/protobuf-2.5.0
export PATH=$PATH:$PROTOBUF_PATH
# 6. 文件生效
source /etc/profile
# 5. 验证
protoc --version

在这里插入图片描述

1.6 安装openssl库

yum install -y openssl-devel

1.7 安装ncurses库

yum install -y ncurses-devel

1.8 编译Hadoop源码

# 1. 回到opt目录
cd /opt
# 2. 解压hadoop
tar -zxvf hadoop-2.7.2-src.tar.gz
# 3. 进入hadoop目录
cd hadoop-2.7.2-src
# 4. 编译打包源码
mvn package -Pdist,native -DskipTests -Dtar
或者
mvn clean package -Pdist,native -DskipTests -Dtar
# 5. 复制编译报到opt目录下
cp hadoop-2.7.2.tar.gz /opt/
# 6. 解压
tar -zxvf hadoop-2.7.2.tar.gz
# 7. 修改profile文件
vim /etc/profile
# 8. 添加以下配置
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
# 9. 配置生效
source /etc/profile

在这里插入图片描述

1.9 修改core-site.xml

vim etc/hadoop/core-site.xml

添加以下配置

<configuration>

<!--指定HDFS中NameNode的地址-->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
   <!--指定hadoop运行产生文件（DataNode）的存储目录-->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop-2.7.2/data/tmp</value>
        </property>


</configuration>

1.10 修改hdfs-site.xml

vim etc/hadoop/hdfs-site.xml

添加以下配置

<!--指定HDFS副本数量，这里只设置了一个节点（hadoop01）副本数量为1-->
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

1.11 启动

1.11.1 格式化namenode

第一次启动时格式化，以后就不要格式化了,如果之后再格式化则namenode为新生成的，就找不到DataNode

bin/hdfs namenode -format

1.11.2 启动namenode

sbin/hadoop-daemon.sh start namenode

1.11.3 启动datanode

sbin/hadoop-daemon.sh start datanode

1.11.4 查看系统进程

jps

在这里插入图片描述

1.11.5 测试是否启动成功

访问 http://192.168.1.100:50070查看是否启动成功
在这里插入图片描述

2. 词频统计

安装完单机版hadoop之后，我们做一个词频统计，在一个文本中查看每个字母出现的次数

2.1 创建存储目录

bin/hdfs dfs -mkdir -p /user/root/input

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
文件夹创建成功

2.2 上传文件资源

创建一个wc.txt文件，在文件里写入任务英文字母
在这里插入图片描述

上传文件资源

bin/hdfs dfs -put wc.txt /user/root/input

查看是否上传成功
在这里插入图片描述

2.3 运行MapReduce程序

这个是在单机版下本地版运行，并没有提交到yarn上。
hadoop会给我们提供一些mapreduce程序，我们由于没写mapreduce程序，可以用hadoop的示例来进行演示
在这里插入图片描述

执行命令

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/root/input /user/root/output

参数讲解
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar ：mapreduce程序
wordcount : 词频统计
/user/root/input : 测试文件目录
/user/root/output : 结果输入目录，输出目录必须是一个不存在的文件夹
在这里插入图片描述
在这里插入图片描述
点击下载查看次词频统计结果cd
在这里插入图片描述
在这里插入图片描述

2.4 删除输出结果

# 删除文件
hadoop dfs -rm -f /user/root/input/wc.txt
# 递归删除全部
hadoop dfs -rm -r /user/root/output

2.5 递归查看目录

hadoop fs -lsr /

3. 在YARN上运行MapReduce程序

3.1 停止datanode和namenode

要先停止datanode再停止namenode

sbin/hadoop-daemon.sh stop datanode
sbin/hadoop-daemon.sh stop namenode

3.2 yarn-env.sh 添加java环境变量

cd /etc/hadoop/
vim yarn-env.sh

添加以下配置
在这里插入图片描述

3.3 配置yarn-site.xml

vim yarn-site.xml

添加以下内容

<!--reducer获取数据的方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<!--指定yarn的resourcemanager地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1.com</value>
</property>

3.4 配置mapred-site.xml

mapred-site.xml.template模板文件重命名mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

修改mapred-site.xml

vim mapred-site.xml

添加以下配置

<!--运行MapReduce作业的运行时框架-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

3.5 启动namenode和datanode

启动时先启动namenode再启动datanode

sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode

3.6 启动resourcemanager

sbin/yarn-daemon.sh start resourcemanager

3.7 启动nodemanager

sbin/yarn-daemon.sh start nodemanager

3.8 检查启动成功

web浏览器中查看 ： http://192.168.1.100:8088
在这里插入图片描述

3.9 执行mapreduce程序(wordcount示例)(如果以前执行产生过output目录，先删除)

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/root/input /user/root/output

运行成功
在这里插入图片描述

4. 配置日志

MapReduce 的 JobHistory Server，这是一个独立的服务，可通过 web UI 展示历史作业日志，之所以将其独立出来，是为了减轻 ResourceManager 负担。JobHistory Server 将会分析作业 运行日志，并展示作业的启动时间、结束时间、各个任务的运行时间，各种Counter数据等，并产生一个指向作业和任务日志的链接，其默认端口号为 19888。通常可以启动在一台独立的机器上。

4.1 停止各项服务

sbin/hadoop-daemon.sh stop datanode
sbin/hadoop-daemon.sh stop namenode
sbin/yarn-daemon.sh stop nodemanager
sbin/yarn-daemon.sh stop resourcemanager

4.2 配置mapred-site.xml

在mapred-site.xml文件中添加以下配置


<!--配置历史服务器的地址及端口-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop1.com:10020</value>
</property>
<!--配置历史服务器的web界面地址与端口-->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop1.com:19888</value>
</property>

4.3 配置日志聚合

在yarn-site.xml文件中添加以下配置


<!--日志聚集功能使能-->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!--日志保留时间设置7天-->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

4.4 启动服务

sbin/hadoop-daemon.sh start datanode
sbin/hadoop-daemon.sh start namenode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
mr-jobhistory-daemon.sh start historyserver

在这里插入图片描述

4.5 执行wordcount程序查看日志

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/root/input /user/root/output

访问http://192.168.1.100:19888/jobhistory 查看日志
在这里插入图片描述

盲流子开发
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据云计算技术系列 hadoop单机版搭建图文详解（共14页）.pdf
09-04
【大数据云计算技术系列 hadoop单机版搭建图文详解】 在当今的数据时代，大数据处理和分析已经成为企业及研究机构的核心需求之一。Apache Hadoop 是一种开源的分布式计算框架，它允许在大规模集群上处理和存储海量...
Hadoop的安装
Trony的博客
11-30 676
一、Hadoop的安装 1.1 安装前注意事项 Hadoop运行的前提是已经在本机安装了JDK，配置JAVA_HOME变量 在Hadoop中启动多种不同类型的进程，需要配置主机名到IP的映射 注意权限：Hadoop框架运行需要产生的很多数据，数据保存目录，必须让当前启动Hadoop进程的用户有写权限 关闭防火墙 1.2 Hadoop安装过程 进入Hadoop安装包路径下，使用tar -zxvf命令进行解压 将Hadoop添加到环境变量中 1.2.1 Hadoop目录结构 bin目录：
MapReduce简介
intmiss的博客
10-29 924
MapReduce MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并...
Hadoop单机安装配置 图文保姆级教程—保姆级配置教程—全网最全[官方手册版]
最新发布
m0_63324772的博客
05-11 1060
Hadoop单机安装配置图文保姆级教程—全网最全 一、安装前需要 1.VMware安装配置： 2.相关Hadoop软件包下载 3.Ubuntu镜像下载 二、Ubuntu系统安装 前提声明：已安装可忽略此步（但要有远程传输VMwareTools，和英文版的Ubuntu） 三、Hadoop单机+伪分布式配置 1.更新apt 2.安装Vim 3.安装SSH 4.配置SSH无密码登陆 5.安装Java环境 6.安装Hadoop 7.单机配置（非分布式）
hadoop安装与配置（本地模式）
lihuan1124的博客
06-22 1205
hadoop版本:hadoop-2.7.2虚拟机安装前期配置：IP地址、IP与主机映射、关闭防火墙一、安装java jdk   1、下载java jdk1.8版本，放在/home/software目录下，   2、解压：tar -zxvf java-jdk*****.jar   3、vim ~/.bash_profile12345#添加export JAVA_HOME=root/app/jdk1....
用C++进行hadoop程序开发（hadoop Pipes）
dcxhun3的博客
01-28 8492
经过几天的努力与查资料，终于实现了分布式模式下运行C++版的MapReduce。下面介绍主要步骤和遇到的问题及解决方案。 系统配置： 在Linux系统上已安装好hadoop 2.5.2版本（本人系统为CentOS7.0（64位系统）。 选择工具： Hadoop采用java编写，因而Hadoop天生支持java语言编写作业，但在实际应用中，有时候，因要用到非java的第三方库或者其他原因，要
Hadoop安装和配置
江湖行骗老中医
04-11 1536
注意：安装JDK类似，解压后配置环境变量 0. Hadoop下载地址： https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/ 1. 用SecureCRT工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面 切换到sftp连接页面，选择Linux下编译的hadoop jar包拖入，如图...
大数据云计算技术系列 hadoop单机版搭建图文详解（共14页）.rar
09-29
**Hadoop单机版搭建步骤** 1. **环境准备**: 首先，确保你的计算机系统满足最低配置需求，包括Java运行环境（JRE）和Java开发工具集（JDK）。安装Java并设置好环境变量，可以通过`java -version`命令检查版本是否...
Ubuntu下搭建Hadoop单机模式环境
08-23
本文主要介绍了在Ubuntu系统上Hadoop单机版测试环境的搭建过程。
Ubuntu 1.04搭建hadoop单机版环境.pdf
10-15
在本文中，我们将详细探讨如何在Ubuntu 12.04上搭建Hadoop单机版环境。Hadoop是一个开源的分布式计算框架，主要用于处理和存储大量数据。在单机环境中搭建Hadoop，主要目的是学习和测试Hadoop的功能，而不涉及实际的...
Hadoop问题：Input path does not exist: hdfs://Master:9000/user/hadoop/input
热门推荐
weixin_34194317的博客
03-03 1万+
问题描述： org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://Master:9000/user/hadoop/input at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.sing...
C++使用Hadoop
SteveForever的博客
11-14 2498
安装Hadoop 这里推荐一篇文章，我感觉写得很详细，跟着流程安装起来很容易。 install-hadoop-on-ubuntu-20-04 使用Hadoop注意事项 hadoop有用户组，有用户权限区分，其他linux用户使用需要加入权限。 hadoop安装好以后，如果不能正常使用，查看环境变量CLASSPATH和USER。 在终端可以成功运行，但是在Clion编辑器里面也需要考虑环境变量。 三种C++调用Hadoop API的方式 使用libhdfs，一个c语言调用java JNI的库。 例如：
大数据之Hadoop环境搭建以及初始用
weixin_39594476的博客
04-11 296
一 Hadoop组成 Haddop HDFS：一个高可靠，高吞吐量的分布式文件系统 Hadoop MapReduce：一个分布式的离线并行计算框架 Hadoop YARN：作业调度和资源管理的框架 Hadoop Common：支持其他模块的工具模块 HDFS架构概述 NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性，以及每个文件的块列表和块所在的DataNode等。 ...
Hadoop2.7.2 伪分布式操作
NEFU AB-IN's Blog
05-25 457
NOTE
hadoop jar包_Java大数据开发(三)Hadoop(3)Grep案例教你学习官网文档
weixin_39761558的博客
11-30 169
在我们实际的开发中，或多或少的会使用到新技术，那应该怎么办呢，百度吗，寻找学习视频吗，可以，这样也是可以找到资料的，并且能很快上手，但是如果这个技术是刚出来的新技术呢？是不是不知道该怎么办了，别急，一个新技术的产生，肯定会有他的学习文档，试想下，假如你写了一个框架，但是没有文档，那别人怎么能看得懂呢，所以，通过官方提供的学习文档学习一门新的技术，才是一个完美的学习方式，我们现在就来看一下...
【hadoop】3.本地运行模式
weixin_34099526的博客
01-03 236
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop之基本环境搭建
taka_is_beauty的博客
11-02 304
1.Hadoop的本地运行模式 1.1克隆虚拟机！ 1.2修改主机名！sudo vim /etc/hostname ，重启reboot 1.3网络节点进行通信！sduo vim /etc/hosts 192.168.91.139 master 1.4创建文件夹：sudo chown pyvip:pyvip model/ software/ #赋予用户文件权限 tar -zxvf jdk... -C /opt/model/ #解压文件 1.5安装jdk： sudo v...
CentOS6.8下Hadoop2.7.2怎么运行自带的wordcount程序
sophiaFXR的博客
07-05 2533
CentOS6.8下Hadoop2.7.2怎么运行自带的wordcount程序 1  准备工作 1.1  创建输入输出路径 首先在hdfs中创建数据目录，用来指定运行wordcount程序的输入输出路径。Hadoop命令在hadoop文件夹下的bin目录下，可通过如下命令查看： 命令：ll  /usr/local/hadoop/bin 查看结果如图1所示： 图1  查找hadoop
hadoop单机版的搭建
09-06
要搭建Hadoop单机版，你可以按照以下步骤进行操作： 1. 下载Hadoop：访问Apache Hadoop官方网站(https://hadoop.apache.org/)，选择合适的稳定版本，下载Hadoop压缩包。 2. 解压Hadoop压缩包：将下载的压缩包解压...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值