![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
java
文章平均质量分 50
小火火
这个作者很懒,什么都没留下…
展开
-
HDFS Federation
这个单独的Namenode管理着数个Datanode,Block分布在各个Datanode中,每个Datanode会周期性地向此Namenode发送心跳消息,报告自己所在Datanode的使用状态。命名空间管理是指命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。处理Datanode向Namenode注册的请求,处理Datanode的成员关系,处理来自Datanode周期性的心跳。处理与块相关的操作,包括块的创建、删除、修改及获取块信息。原创 2022-10-18 15:51:02 · 1309 阅读 · 0 评论 -
Fair Scheduler
Fair Scheduler是由Facebook贡献的,是Hadoop上一个可插拔式的调度器,允许YARN应用程序在一个大的集群上公平地共享资源。与Hadoop默认的调度器维护一个作业队列不同,这个特性让耗时较短的应用程序在合理的时间内完成的同时又不“饿”到耗时较长的应用程序。当提交其他的应用程序时,已释放的资源就会被分配给新的应用程序,因此每个应用程序最后都能粗略地获得等量的资源。公平调度是一种为应用程序分配资源的方法,这样随着时间的推移,所有的应用程序通常都能获得等同的资源份额。原创 2022-10-18 15:43:36 · 649 阅读 · 0 评论 -
Capacity Scheduler
为了提供对共享资源的进一步的控制和预测,Capacity Scheduler支持层级队列,可以保证资源在一个队列的子队列中优先于其他队列来获取到空闲的资源,从而提供了在一个组织内部各应用程序间共享资源的密切关系。Capacity Scheduler是由Yahoo贡献的,是Hadoop上一个可插拔式的调度器,它允许多用户安全地共享一个大型的集群,能够在分配的容量限制下,及时地为用户的应用程序分配资源。还有一个额外的好处,一个组织可以访问别人没有使用的额外的容量,从而提供一个符合成本效益的弹性组织方式。原创 2022-10-18 15:40:36 · 751 阅读 · 0 评论 -
YARN资源调度器
这类事件总共有6个,分别是NODE_ADDED(添加一个计算节点)、NODE_REMOVED(移除一个计算结点)、APPLICATION_ADDED(添加一个应用程序)、APPLICATION_REMOVED(移除一个应用程序)、CONTAINER_EXPIER(回收超时的Container)、NODE_UPDATE(更新节点)。集群资源是非常有限的,在多用户、多任务环境下,如何保证在有限资源或业务约束下有序调度和执行任务,需要有一个协调者,这就是YARN资源调度器。原创 2022-10-18 15:36:49 · 377 阅读 · 0 评论 -
编码和调优的原则
当然也不是说开始写代码时随便写,除了代码要尽量简单,也要遵循一些原则。例如,在面向对象编程中,我们强调日常开发要遵循s(rp)o(cp)l(sp)i(sp)d(ip)五原则。在我看来,能够在线上部署的工程化项目适用2/8原则,即80%的需求都可以用简单做法去实现。同样,在编写HiveSQL代码时,也需要遵循一些简单的原则。结合对实际业务的理解,我认为很多人对代码有点过度优化,积极性太高。例如,代码中看起来逻辑别扭,结构怪异的地方必然有其优化的空间。在我看来,能用简单的代码就不要用复杂的代码去编写、原创 2022-10-18 15:30:35 · 124 阅读 · 0 评论 -
ZooKeeper基础
例如,在主从模式的例子中,当主节点创建的znode为临时节点时,该节点的存在意味着现在有一个主节点,且主节点状态处于正常运行中。临时的znode与之相反,当创建该节点的客户端崩溃或关闭了与ZooKeeper的连接时,这个节点就会被删除。持久znode是一种非常有用的znode,可以通过持久类型的znode为应用保存一些数据,即使znode的创建者不再属于应用系统时,数据也可以保存下来而不丢失。当新建znode时,还需要指定该节点的类型(mode),不同的类型决定了znode节点的行为方式。原创 2022-09-03 15:45:21 · 400 阅读 · 0 评论 -
如何在 Linux 中设置或更改系统主机名
博学谷提供技术支持主机名能帮助人们轻松的识别网络中的机器只需要将“NEW_HOSTNAME”替换为你希望设置的主机名。就可以立即更改系统的主机名,但有一个问题 - 原始主机名将在下次重新启动时恢复。...原创 2022-08-27 09:11:39 · 3662 阅读 · 0 评论 -
Java 数据库连接池
数据库连接池是一种众所周知的数据访问模式。其主要目的是减少执行数据库连接和读/写数据库操作所涉及的开销。在最根本的层面上, 连接池是一种数据库连接缓存实现 ,可以根据特定需求进行配置。在这里,我们将讨论一些流行的连接池框架。然后我们将学习如何从头开始实现我们自己的连接池。原创 2022-08-20 11:55:38 · 343 阅读 · 0 评论 -
MYCAT的简单理解
一个完全开源的用于企业应用开发的大型数据库集群一个可以看成是MySQL Cluster的企业级数据库,用来替代昂贵的Oracle集群集成内存缓存技术、NoSQL技术和HDFS大数据的全新SQL Server结合传统数据库和新型分布式数据仓库的新一代企业数据库产品一种新颖的数据库中间件产品。...原创 2022-08-13 09:59:46 · 64 阅读 · 0 评论 -
什么是数据库索引?
博学谷提供技术支持了解数据库索引如何帮助我们快速查询数据。索引是数据库后台用于加速查询的强大工具。索引通过提供一种快速查找请求数据的方法来增强查询。简单地说,索引是指向表中数据的指针。数据库中的索引与书后的索引非常相似。想象一下走进大型图书馆,被要求在 10 分钟内找到特定出版物。你能在给定的时间范围内完成这项任务吗?大型图书馆拥有大约有上十万件藏品。现在事实上,我们要做的第一件事就是请求访问图书馆的索引,因为索引包含快速有效地访问项目所需的所有必要信息。同样,数据库索引包含快速有效地访问数据所需的所有信息原创 2022-08-07 10:07:42 · 345 阅读 · 0 评论 -
MySQL REGEXP:基于正则表达式的搜索
使用正则表达式的缺点是很难理解和维护这样一个复杂的模式。因此,应该在SQL语句的注释中描述正则表达式的含义。此外,在某些情况下,如果在正则表达式中使用复杂的模式,数据检索的速度会降低。正则表达式使用它自己的语法,可以由正则表达式处理器解释。它是一个强大的工具,为您提供了一种基于模式识别文本字符串(例如字符和单词)的简洁灵活的方法。例如,您可以使用正则表达式来搜索电子邮件、IP地址、电话号码、社保号或任何具有特定模式的内容。使用正则表达式的好处是,不限于搜索基于固定模式的字符串,例如,以下语句仅匹配。....原创 2022-07-31 08:32:57 · 191 阅读 · 0 评论 -
Linux
大约90%的互联网由Linux服务器提供支持。使用Windows服务器的主要问题是它们的成本。这可以通过使用Linux服务器来解决。世界上大约80%的智能手机中运行的操作系统Android也是由Linux内核制成的。好吧,Linux是UNIX的克隆。但它实际上是由Scratch的LinusTorvalds创建的。Linux是免费和开源的,这意味着您可以简单地更改Linux中的任何内容并以您自己的名义重新分发它!Linux是操作系统的内核。...原创 2022-07-24 19:46:54 · 233 阅读 · 0 评论 -
Java_基础增强
博学谷提供技术支持。原创 2022-07-17 21:36:39 · 75 阅读 · 0 评论 -
Java_网络编程
网络编程就是使多台主机可以互通有无的传递消息。主要三要素:IP地址你要给哪台主机发送消息?就是通过IP去指定的端口号给主机的哪个程序去接受呢?通过端口号来指定交给谁处理传输方式一般我们有两种传输方式,TCP和UDPUDP是无连接的,会丢包,但传输快。一般可以用于直播的音视频场景。UDP有三种模式:单播一对一的发送模式组播一对多的发送模式广播一对所有的发送模式TCP是长连接,不会丢包,但是传输较慢,因为要保证连接的建立才能发送消息。TCP的三次握手为了保证连接的...原创 2022-07-10 08:42:44 · 48 阅读 · 0 评论 -
Java_多线程
计算机执行程序就跟人类大脑运算是一样的,同一时间只能思考一件事,但是我们发现操作系统能同时执行很多程序,这是怎么办到的?那就是时间切片,一段时间执行A程序,一段时间执行B程序,由于CPU切换的很快,所以一般我们感觉不到它在切换。并发和并行的含义:并发:有一堆任务同时提交,但是同一时间只运行一个。并行:一堆任务同时提交同时允许。如果我们的电脑是单CPU,但是提交多任务,那么就是并发模式。如果我们的电脑是多CPU,提交任务数量没超过,那就就是并行模式。进程和线程的含义:进程可以理...原创 2022-07-02 23:53:39 · 69 阅读 · 0 评论 -
Java_IO相关知识
File是对文件或者文件夹的封装,可以通过它来操作文件,可以获取文件大小,文件名称,文件路径。还有删除的功能。如果要使用文件的内容那就要把它加载进内存,然后计算机再从内存中提取出来做相应的逻辑运算。那怎么才能读文件的内容?那就要使用输入字节流,一个一个的字节读进内存如果要把数据写进硬盘,那么就是使用输出字节流写出。不管是一个一个写出或写入字节,这样都是性能比较慢的,就跟出门买菜,买一个菜就回来一趟,在买个菜在回来一趟,那不是得累死。我们可以直接提一个篮子,一批批的买,这样效率就提...原创 2022-06-25 15:45:29 · 123 阅读 · 0 评论 -
Java_Stream总结
Stream流式处理原创 2022-06-18 15:51:57 · 82 阅读 · 0 评论 -
常用数据结构
常用数据结构原创 2022-06-12 10:31:26 · 72 阅读 · 0 评论 -
Java 基础回顾
Java基础原创 2022-06-04 17:04:56 · 54 阅读 · 0 评论