![](https://img-blog.csdnimg.cn/47e4d9b209494e7ba928eafadcf7b4da.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 97
分类专栏不能为空
欧叶冲冲冲
新的bug已经出现,我们怎能停滞不前
展开
-
【大数据】Hadoop_MapReduce➕实操(附详细代码)
MapReduce是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一是分布式计算框,就是mapreduce,二者缺一不可,也就是说,可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程sftp命令:Windows下登录Hadoop102lcd切换Windows路径,cd切换Linux路径,get下载,put上传🧮MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop 的数据分析应用”的核心框架。原创 2023-07-30 00:58:34 · 2357 阅读 · 1 评论 -
【大数据】Hadoop_生产调优手册➕总结(附详细代码)
以下修改的配置文件均在目录下一、Hadoop入门 1 、常用端口号hadoop3.xHDFS NameNode 内部通常端口:8020/9000/9820HDFS NameNode 对用户的查询端口:9870Yarn查看任务运行情况的:8088历史服务器:19888hadoop2.xHDFS NameNode 内部通常端口:8020/9000HDFS NameNode 对用户的查询端口:50070Yarn查看任务运行情况的:8088。原创 2023-08-05 23:56:28 · 577 阅读 · 1 评论 -
【大数据】Hadoop_Yarn➕实操(附详细代码)
Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而 MapReduce等运算程序则相当于运行于操作系统之上的应用程序。原创 2023-08-03 08:18:29 · 642 阅读 · 0 评论 -
【大数据】Hadoop_HDFS
随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种🧰Hadoop Distributed File System,它是一个文件系统,用于存储文件,通过目录树来定位文件;它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。重点掌握HDFS中shell命令部分,大概了解了HDFS,下一篇👉MapReduce。原创 2023-07-21 20:30:44 · 201 阅读 · 1 评论 -
【大数据】hadoop的运行模式(root用户下、尚硅谷Hadoop入门)
Hadoop 运行模式包括:本地模式、伪分布式模式以及完全分布式模式了解更多详情👉hadoop官方网站过知识点时只有多敲多练测试案例才能找到学习过程中的bug,yarn相关操作要在hadoop103上进行…完全分布模式的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。在所有的主机上安装JDK和Hadoop,组成相互连通的网络。hadoop运行在多台机器上面,称之为hadoop集群。✍下一任务:HDFS。原创 2023-07-15 11:48:09 · 2496 阅读 · 1 评论 -
【大数据】hadoop运行环境搭建(搭建如此简单)
首先准备好工具。下载好最新的VMware Workstation,CentorOS 7运行Linux,建议Linux桌面标准版,且创建好一个用户模板机一定要按照步骤做好准备,避免遗漏,否则一台一台改超级麻烦。搭建hadoop运行环境!!原创 2023-07-07 20:50:14 · 3315 阅读 · 2 评论 -
【大数据】Hadoop新手小白学习初体验(尚硅谷hadoop3.x教程同步笔记)
Hadoop是用来解决海量数据的存储和海量数据的分析计算问题,一个分布式系统基础架构高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度高容错性:能够自动将失败的任务重新分配Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。原创 2023-07-04 09:36:25 · 985 阅读 · 0 评论