Hadoop学习笔记（3）

最新推荐文章于 2023-04-20 11:27:06 发布
最新推荐文章于 2023-04-20 11:27:06 发布
阅读量2.2k 收藏
点赞数 6
分类专栏： 笔记 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52559562/article/details/121733538
版权
这篇博客介绍了如何在Windows环境下使用Moba进行文件传输，然后详细阐述了Hadoop的本地部署过程，包括在Linux系统中创建文件夹、解压安装软件、配置环境变量，并展示了验证安装成功的步骤。最后，讲解了Hadoop的本地部署使用，包括准备数据文件、执行MapReduce任务及查看结果。
摘要由CSDN通过智能技术生成

一、Moba–Windows软件

Moba–windows软件，windows和linux传输文件要用的软件
1、打开moba创建新的连接服务
请添加图片描述

二、本地部署

1、在/opt 下创建两个文件夹：software、module
2、software：放软件的压缩包
module：放软件解压后的文件夹
3、切换到software文件夹下

cd /opt/software

4、解压jdk、Hadoop到module文件夹中

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt
最低0.47元/天 解锁文章
Corsini！
关注
专栏目录
Hadoop学习笔记
weixin_45906989的博客
08-13 1521
Handoop学习笔记
Hadoop学习笔记（一）初识Hadoop
momo1005的博客
10-11 1256
研究生阶段将要接触大数据和深度学习的知识，在网上找的教程大多一上来就是一堆名词又解释不清楚，对新手相当不友好，在慕课网看到一个教程，利用博客记录下自己学习的过程。hadoop介绍关于hadoop 最好的介绍莫过于官网的文档，hadoop的官网如下，http://hadoop.apache.org我们一句一句来看看hadoop官网是怎么介绍的。
3.Hadoop学习笔记.pdf
01-31
3. YARN（Yet Another Resource Negotiator）：这是一个资源管理平台，负责集群中资源的分配和任务调度。YARN引入了资源管理器、节点管理器以及应用程序历史服务器等概念，使得在Hadoop上运行的计算框架不仅仅是...
Hadoop 学习笔记.md
06-12
Hadoop 学习笔记.md
最新Hadoop学习笔记
08-25
**Hadoop学习笔记详解** Hadoop是一个开源的分布式计算框架，由Apache基金会开发，主要用于处理和存储海量数据。它的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，两者构成了大数据处理的基础...
Hadoop 学习笔记
不贪吃的猪
06-08 178
概述：
Hadoop学习笔记(1)
qq_64557330的博客
07-29 630
HadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统YetAnotherResourceNegotiator简称YARN，另一种资源协调者，是Hadoop的资源管理器MapReduce将计算过程分为两个阶段Map和Reduce1、Map阶段并行处理输入数据(分工给多个服务器)2、Reduce阶段对Map结果进行汇总可以kill进程去停止。......
hadoop学习笔记(一)
会飞的石头
04-29 9146
hadoop学习笔记(一)我的个人博客站点地址：孙星的个人博客主页 后续的学习笔记：hadoop学习笔记1 HDFS介绍Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data. 翻译过来就是:一种提供高吞吐量访
Hadoop学习笔记1
chenyyhh92的博客
02-02 1490
Hadoop部署方式 本地模式 伪分布模式(在一台机器中模拟，让所有进程在一台机器上运行) 集群模式 服务器只是一堆废铁而已，上面跑了tomcat，我们叫它web服务器；上面跑了mysql，我们叫它数据库服务器。所以不同服务器只是上面跑的进程(或者说程序)不同，我们是根据它们跑的进程来命名它们分别叫什么服务器的。 宿主机(windows)和客户机(linux)之间通信 host-only：宿主机与
【Hadoop学习笔记】——Hadoop基础
点滴汇聚，智在积累。——Danny
06-30 7194
大数据时代 当前时代是数据爆炸的时代，全球各个网站、电子设备等都在源源不断地产生着大量数据.2006年数字世界项目统计得出全球数据总量为0.18ZB，2011年全球数据量1.8ZB，2013全球数据量4.4ZB，2014年全球数据总量在6.2ZB左右，2015年全球数据总量在8.6ZB左右，2016年12ZB左右，2020年的时候，全球的数据总量将达到40ZB。(小编的印象里，高中时用的手机内存
Hadoop学习笔记整理
weixin_45515971的博客
07-29 529
Hadoop基础学习
hadoop集群执行jar wordcount 没有输出结果
最新发布
weixin_43734734的博客
04-20 1104
时，第一次执行报错Could not find or load main class ，参照csdn博客。能够正常的执行wordcount jar 并且hdfs能正常生成。2.在yarn-site.xml里添加1的输出结果。这时候能正常执行程序，但hdfs无输出结果。依旧没解决问题，直到我翻阅博客找到一条留言。然后我加上/word.txt再次执行。在执行Hadoop集群运行。
Hadoop学习笔记：环境搭建和配置详解
"Hadoop学习笔记" Hadoop是一个基于Java的开源分布式计算框架，主要用于处理大数据。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce。HDFS是一个分布式文件系统，用于存储大规模数据，而...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Corsini！

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值