数据结构与算法
文章平均质量分 63
数据结构与算法
笑起来贼好看
歲月匆忙,偷得浮生半日閑。
展开
-
【大数据Hadoop】HDFS-HA模式下Checkpointer机制代码分析
Namenode一方面为了提供客户端的响应速度,另外一方面为了提高集群的可靠稳定性(断电后数据不丢失),所以在内存中存储全量的文件系统元数据,定期的将元数据信息持久化到磁盘中(fsimage_0000000000000102359),对于此持久化时间点后产生的元数据操作(创建,修改,删除等),都会记录到edits_xxx-xxx文件中,对于正在执行元数据操作过程中的操作,会记录在一个edits_inprogress_xxxx文件中。此过程就是将 fsImage 上传给 active namenode节点。原创 2023-03-26 09:56:45 · 873 阅读 · 1 评论 -
【容器】深入解析容器跨主机网络
在本篇文章中,我为你详细讲解了 Flannel UDP 和 VXLAN 模式的工作原理。这两种模式其实都可以称作“隧道”机制,也是很多其他容器网络插件的基础。比如 Weave 的两种模式,以及 Docker 的 Overlay 模式。此外,从上面的讲解中我们可以看到,VXLAN 模式组建的覆盖网络,其实就是一个由不同宿主机上的 VTEP 设备,也就是 flannel.1 设备组成的虚拟二层网络。对于 VTEP 设备来说,它发出的“内部数据帧”就仿佛是一直在这个虚拟的二层网络上流动。原创 2023-02-24 09:47:07 · 421 阅读 · 0 评论 -
【数据库】MySQL概念知识语法-基础篇(DCL),真的很详细,一篇文章你就会了
MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。本文描述 DCL 数据控制语言语法,用来控制数据库/表及常见用户权限原创 2023-02-21 11:19:22 · 589 阅读 · 0 评论 -
【数据库】MySQL概念知识语法-基础篇(DQL),真的很详细,一篇文章你就会了
MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。本文描述 DQL 数据查询语言语法,用来查询数据库中表的记录原创 2023-02-21 10:58:45 · 762 阅读 · 0 评论 -
【机器学习】支持向量机(SVM)算法
机器学习-支持向量机(svm)原创 2023-01-29 11:13:28 · 585 阅读 · 0 评论 -
【大数据】Ranger-2.3.0 Hive插件安装
Apache Ranger来源于2013年成立于美国加利福尼亚的XA Secure公司,它是一个Hadoop安全相关的开源组件。在2014年,Hortonworks收购了XA Secure公司,将其贡献给了Apache软件基金会,目前是Apache的顶级开源项目。Ranger-hive的插件编译、部署控制hive授权原创 2023-01-28 10:15:48 · 692 阅读 · 0 评论 -
helm 安装
helm安装教程、部署教程原创 2023-01-27 20:08:54 · 522 阅读 · 0 评论 -
【服务器运维】linux 网络
网桥管理工具使用,brctl使用,网络常用工具,网络问题排查原创 2023-01-27 20:04:39 · 71 阅读 · 0 评论 -
【大数据】Hive SQL执行全过程源码解析(Hive3.1)
看着有很多阶段,实际上很简单。Hive就是把SQL通过AST解析,然后遍历若干次(进行算子替换以及优化),最后再次遍历算子,如果为reduceSink操作符则划分出一个stage,类似Spark中通过shuffle来划分stage,生成MapReduce任务。最后将这些任务按照执行计划的顺序提交到Yarn上执行。原创 2023-01-26 17:42:37 · 902 阅读 · 0 评论 -
【大数据】Hive官方文档清单
hive文档整合,hive官方文档,hive常用手册原创 2023-01-22 08:59:23 · 661 阅读 · 0 评论 -
【大数据】Hive 远程调试
Hive远程debug调试,跟踪源代码,学习源代码,学习hive原创 2023-01-22 08:58:09 · 198 阅读 · 0 评论 -
【强烈推荐】非常有用的开源项目软件集合
开源github项目,收集了多年,快速交付的项目模板,适合学习的项目,适合研究的项目,数据可视化,在线协作,原创 2023-01-22 08:53:26 · 2718 阅读 · 0 评论 -
【Thread】ThreadLocal模式详解
ThreadLocal模式主要是为了解决多线程并发访问的安全问题.public class Thread implements Runnable { 此处省略部分代码... /** ThreadLocal values pertaining to this thread. This map is maintained * by the原创 2015-02-26 21:24:16 · 712 阅读 · 0 评论 -
【nginx】安装与使用
nginx是一个轻量级,高性能的HTTP反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器,占有内存少,并发能力强,常用作于多个项目的域名重写,中转等。原创 2015-06-19 13:22:58 · 920 阅读 · 0 评论 -
【xml】XML技术
什么是XML约束?XML约束的作用。原创 2015-07-18 11:06:24 · 863 阅读 · 0 评论 -
【技术架构】分布式系统的特点以及设计理念
本文转载于王璞 http://www.infoq.com/cn/articles/features-and-design-concept-of-distributed-system论文分布式系统并不是什么新鲜词,在上个世纪七八十年代就已经有各种分布式系统出现。只是在互联网时代,分布式系统才大放异彩,尤其是Google更是把分布式系统运用到了极致。Google整个的软件构架都是基于各种各样的分布式系统转载 2016-02-26 09:52:34 · 756 阅读 · 0 评论 -
【DNS】域名解析过程
在浏览器中输入www.qq.com域名,操作系统会先检查自己本地的hosts文件是否有这个网址映射关系,如果有,就先调用这个IP地址映射,完成域名解析。如果hosts里没有这个域名的映射,则查找本地DNS解析器缓存,是否有这个网址映射关系,如果有,直接返回,完成域名解析。 如果hosts与本地DNS解析器缓存都没有相应的网址映射关系,首先会找TCP/ip参数中设置的首选DNS服务器,在此我们叫它转载 2016-03-11 08:44:54 · 795 阅读 · 0 评论 -
【技术架构】分布式缓存特点
分布式缓存概述1.1 分布式缓存的特性分布式缓存具有如下特性: 1) 高性能:当传统数据库面临大规模数据访问时,磁盘I/O 往往成为性能瓶颈,从而导致过高的响应延迟.分布式缓存将高速内存作为数据对象的存储介质,数据以key/value 形式存储,理想情况下可以获得DRAM 级的读写性能; 2) 动态扩展性:支持弹性扩展,通过动态增加或减少节点应对变化的数据访问负载,提供可预测的性能与扩展性;同时,最转载 2016-05-09 08:39:15 · 2753 阅读 · 0 评论 -
【技术架构】负载均衡算法
一、轮询法 轮询很容易理解,将请求按顺序轮流地分配到后端服务器上,它均衡的对待后端每一台服务器,而不关心服务器实际的连接数和当前的系统负载。 这里通过初始化一个serverWeightMap的Map变量来表示服务器地址和权重的映射,以此来模拟轮询算法的实现,其中设置的权重值在后面加权算法时会使用到,此处暂且按下不表,Map<String,Integer> serverWeightMap原创 2016-05-18 13:26:41 · 538 阅读 · 0 评论