大数据
文章平均质量分 94
踩着上帝的小丑
这个作者很懒,什么都没留下…
展开
-
yarn资源调度器
定义:yarn是一个资源调度平台,负责为运算程序提供扶额u其运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运算于操作系统之上的运用程序。原创 2024-07-29 07:00:00 · 761 阅读 · 0 评论 -
Hadoop之NN和2NN
NameNode启动时,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作。一旦在内存中成功建立文件系统元数据的映像,则创建一个新的fsimage文件和一个空的编辑日志。此时,NameNode开始监听DataNode请求。但是此刻,NameNode运行在安全模式,即NameNode的文件系统对于客户端来说是只读的。系统中的数据块的位置并不是由NameNode维护的,而是以块列表的形式存储在DataNode中。原创 2024-08-03 19:45:00 · 1098 阅读 · 0 评论 -
Hadoop之DataNode
修改:以后每周期(6小时)上报所有块信息!!!!!心跳机制:心跳机制是定时发送一个自定义的结构体(心跳包),让对方知道自己还活着,以确保连接的有效性的机制。DataNode会主动联系NameNode。原创 2024-08-06 13:45:00 · 740 阅读 · 0 评论 -
Scala函数式编程
函数定义的方式函数1:无参,无返回值函数2:无参,有返回值函数3:有参,无返回值函数4:有参,有返回值函数5:多参,无返回值函数6:多参,有返回值// 函数的定义x+y// 使用方法,类中的函数print(function.add("张三"))// 函数的定义方式// 无参,无返回值def add1(): Unit = print("这是无参,无返回值的函数")// 无参,有返回值def add():String= "这是无参,有返回值的函数"// 有参,无返回值。原创 2024-07-31 16:00:00 · 1053 阅读 · 0 评论 -
hive介绍
hive应用原创 2024-07-28 11:40:10 · 324 阅读 · 0 评论 -
Scala介绍
注释的方式和java注释一样(1)单行注释: //(2)多行注释: /*(3)文档注释: /* * */原创 2024-07-28 12:02:38 · 1018 阅读 · 0 评论