自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(24)
  • 资源 (6)
  • 收藏
  • 关注

原创 HDFS写流程源码分析(三)-DataNode服务端

环境为hadoop 3.1.3。

2023-06-25 14:15:27 555 1

原创 HDFS写流程源码分析(二)-NameNode服务端

环境为hadoop 3.1.3。

2023-06-24 10:38:08 1190

原创 HDFS写流程源码分析(一)-客户端

环境为hadoop 3.1.3。

2023-06-23 19:44:58 1474

原创 关于线性与条带化下LVM数据在物理卷上分布的讨论

本次使用三块磁盘进行试验,其大小如图:然后创建一个卷组database。

2023-04-04 20:25:28 1068 1

原创 使用YCSB对Clickhouse进行压测

使用YCSB对clickhouse进行压测,自定义实现clickhouse压测客户端。

2022-10-31 10:57:49 1715

原创 分布式系统的一致性和一致性模型详解

能否正确理解一致性是能否更好理解分布式系统的基础。本文描述了我对分布式系统中一致性和一致性模型的理解,或许稍有偏颇,但应该可以为心中对一致性怀有困惑的同学稍解疑难。

2022-10-15 13:38:10 1279 2

原创 通过划分法优化共识算法-“Scaling Replicated State Machines with Compartmentalization”详解

论文采用了划分的方式从不同维度对MultiPaxos的瓶颈进行优化,使其支持scale。同时,优化路线是层层递进的,逐渐消除可能新产生的瓶颈,但这也导致单独讨论其中一种优化意义相对不那么大。MultiPaxos中leader的瓶颈太过明显,在一般情况下,leader限制了其它角色的能力,仅仅消除leader的瓶颈便可以较好地提升系统的吞吐量。同样的,在没有解决leader瓶颈的前提下,使用其它优化可能并不会有很好的效果。......

2022-08-31 16:07:04 429

原创 一致性协议-ChainPaxos详解

ChainPaxos采用链拓补的结构,通过pipeline的模式传递信息,消息复杂度低,在客户端高负载的情况下可以提供高吞吐量,内置membership管理,可以实现负载均衡的线性读。

2022-08-03 20:27:23 834 2

原创 共识算法-Mencius详解

针对上述问题,Mencius通过副本轮转做某个实例的leader的模式来将负载分摊,并降低消息的复杂性及轮次,以在client高负载的情况下提高吞吐量,在client低负载的情况下降低延迟。然而,如果一个副本在提议的进展中远远落后于其它副本,则会导致其他副本无法正常apply后续的命令,会使整个系统按照最慢的副本的进展执行,即容易受到掉队者影响。当然,我们也可以根据副本的计算性能、网络拓补结构、副本在网络中的位置、业务的地域分布等因素设计更加合理的策略,使条件更好的副本可以被分配更多的实例。...

2022-07-21 11:47:48 2712

原创 共识算法-SDPaxos详解

目前强leader以及leaderless型的共识算法在地域分布式的应用下存在一定程度上的劣势。如,强leader的raft采用一个领导者来处理来自客户端的请求并提出提案,在这种模式下,leader的负载会远比其它副本大,非同地域的客户端也需要进行一次广域的连接才能请求到leader;而leaderless模式下的共识算法允许每个副本都可以提出提案,客户端通过就近选择副本消除了地域分布式的应用下物理长距离交互的问题,但由于每个副本都被允许在自己的paxos实例域中提交命令,因此需要在全局视角上对这些不同实例

2022-07-12 15:20:27 2608

原创 phxpaxos安装编译流程

腾讯微信团队phxpaxos安装编译

2022-04-09 18:51:06 681 1

原创 fp-growth算法详解与实现

fp-growth算法详解与实现一、摘要二、绪论三、算法介绍四、算法实现五、总结一、摘要  本文讲解fp-growth算法的原理,梳理了fp-growth算法的实现流程,并使用Java实现fp-growth算法,通过面向对象的思想使算法更加结构化,并使其更加通俗易懂。二、绪论  在之前的博客中我们详细介绍了Apriori算法的实现(要是不知道,可以自行百度或看我之前的博客),但大家应该可以发现,Apriori算法在求得频繁项集的时候会对数据集进行多次扫描,很大程度上降低算法执行的效率。实际上Apri

2021-06-13 21:16:41 11585 2

原创 Apriori算法详解与实现

一、摘要  本文讲解Apriori算法的原理,梳理了Apriori算法的实现流程,并使用Java实现Apriori算法,通过Java自身集合操作和缓存等操作减少算法的扫描次数,使Apriori算法具有较高的性能。二、绪论  随着社会经济和购买力的不断发展,商场也面临着急剧膨胀的购买记录,如何通过研究购买记录来获取购买规律来提高收益也便成为了研究热点。沃尔玛发现,当一个人购买尿布,那么他便有很高的几率购买啤酒,这就是著名的“啤酒与尿布”的故事。研究“啤酒与尿布”关联的方法就是购物篮分析,购物篮分析曾经是

2021-06-11 13:37:35 15017 10

原创 Golang实现决策树算法

一、算法介绍  决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。  在机器学习中,决策树是一种预测分类模型,并广泛用在各种预测分类场景中,是一种十分常用的分类方法。决策树是一种监督学习,可以通过不同的算法来计算信息增益,并以此为依据来创建决策树。二、数据集信息  在本次博客中,我们使用泰坦尼克号数据集

2021-06-08 10:19:59 1394

原创 基于Spring Security的前后端分离认证授权模块

实现一个基于Spring Security的前后端分离认证授权模块一、前言二、模块实现原理三、组件的实现和Spring Security部分源码分析1. CommonAuthentication2. AuthenticationProcessor3. ProviderManager4. AuthenticationProvider5. UserAuthenticationService6. CommonAuthenticationFilter7. RolePermissionEvaluator8. 异常处理

2021-01-06 21:54:23 583 1

原创 Spring Security中AuthenticationEntryPoint不生效的相关问题

  之前由于项目需要比较详细地学习了Spring Security的相关知识,并打算实现一个较为通用的权限管理模块。由于项目是前后端分离的,所以当认证或授权失败后不应该使用formLogin()的重定向,而是返回一个json形式的对象来提示没有授权或认证。  这时,我们可以使用AuthenticationEntryPoint对认证失败异常提供处理入口,而通过AccessDeniedHandler对用户无授权异常提供处理入口,在这里我的代码如下:/** * 对已认证用户无权限的处理 */@Compo

2021-01-04 18:14:21 8910 5

原创 编译原理-语法分析详解

一文带你读懂语法分析(编译原理)一、前言二、前置知识三、自顶向下的语法分析1、自顶向下的分析会遇到的问题a. 二义性问题b. 回溯问题c. 左递归引起的无穷推导问题2、解决以上问题a. 二义性问题一、前言  最近刚考完编译原理,抽出一点时间,来把学的知识总结一下,以便之后的回顾。在这篇博客里可能会稍作全面地讲解语法分析(学生角度),涉及到FIRST集和FOLLOW集的求取、自顶向下的语法分析和自底向上的语法分析。其中自顶向下的语法分析会包含预测分析法和递归下降法以及LL文法的介绍;自底向上的语法分析则会

2020-12-20 20:57:58 10920 12

原创 使用c/c++实现语义分析器

使用c/c++实现语义分析器一、前言二、具体实现1、需要修改或添加的结构体intermediate_code.hsymbol_line.hword.h2、重要结构介绍3、重要函数介绍getTempV()createCode()checkType()SemanticSubroutine_13()SemanticSubroutine_19()SemanticSubroutine_6()SemanticSubroutine_1()SemanticSubroutine_9()三、用法四、测试五、后记一、前言  

2020-11-19 16:29:08 5420

原创 使用c/c++实现SLR(1)语法分析器

使用c/c++实现SLR1语法分析器一、前言二、具体实现1、结构体介绍analysis_table_cell.hcollection.hitem.hprodection_rule.hstate.hsymbol.h和word.h3、重要结构介绍3、重要函数介绍CLOSURE()GOTO()getCanonicalCollection()FIRSTFOLLOW构建分析表语法分析三、用法四、测试结果五、后记一、前言  这次课程实验要求实现一个SLR(1)语法分析器,所以自己抽空用c++写了一个,当然我也没用什

2020-11-13 22:59:01 11006 15

原创 活动安排问题的动态规划、贪心算法和树搜索算法求解

活动安排问题的动态规划、贪心算法和树搜索算法求解一、题目描述1、题目2、题目分析二、分析并解决问题三、算法实现1、c语言(1)动态规划(2)贪心算法(3)树搜索算法二级目录二级目录四、后记二级目录三级目录一、题目描述1、题目  给定一组活动的开始和结束时间,在其中选出最多活动,使它们不互相冲突。2、题目分析  其实这个问题还是比较容易理解的,就是在一定时间内尽可能让更多的活动二、分析并解决问题三、算法实现1、c语言(1)动态规划(2)贪心算法(3)树搜索算法二级目录二级目录四、后

2020-11-13 21:17:45 5325 3

原创 利用贪心算法解决最小平铺路径问题

利用贪心算法解决最小平铺路径问题一、题目描述二、分析并解决问题1、什么是平铺路径2、寻求解决问题的方法3、简单了解贪心算法3.1 贪心策略3.2 优化子结构3.3 贪心选择性4、解决当前问题4.1 选择贪心策略4.2 证明贪心选择性4.3 证明优化子结构三、算法实现1、c语言实现四、后记一、题目描述  设X是实数轴上n个区间的集合,X={[l1, u1], [l2, u2], …, [l1, un]}。假设集合X中的所有区间集合覆盖实数轴上连续的区域。Y是X的子集,如果Y中的区间覆盖X中的所有区间,即

2020-10-27 20:19:37 1673 2

原创 利用动态规划解决最长增长子序列问题

利用动态规划解决最长增长子序列问题题目及概念题目描述子序列增长(或上升)子序列最长增长子序列分析并解决题目寻求解决问题的方法构建动态规划的模型分析优化解的结构构造状态转换方程优化解的构建过程存储结构的优化优化存储结构思路举例markmarkmark题目及概念题目描述子序列  先引入一段来自百度百科的介绍:子序列简称子列.指序列的一部分项按原有次序排列而得的序列.设{an}∞n=1是序列,k1<k2<…<kn<…是一列正整数,则称序列{akn}∞n=1为{an}∞n=1的子序

2020-10-18 23:07:08 3607 5

原创 Spring通过poi简单封装excel导出的工具类

Spring通过poi简单封装excel导出的工具类前言分析excel组成文件组成sheet的通常使用格式工具类的设计与实现数据单元sheetexcel文件载体通用工具类处理器功能分配汇总需要的依赖总结代码ExcelColumnSheetExcelProcessorStandardExcelProcessorExcelUtilExcelWorkBookCreator测试前言  首先,当准备看这个博客的时候,就默认大家已经会使用spring进行javaweb开发以及使用poi导出excel。相信大家在进行

2020-08-06 19:02:12 745

原创 activiti7快速入门经验分享

activiti7快速入门经验分享什么是工作流以及工作流有什么用如何画流程图开始与结束事件任务网关引入maven依赖以及设置配置文件流程的部署、查询和推进流程的部署开始一个流程实例各种查询完成任务Spring Boot整合总结什么是工作流以及工作流有什么用先来贴张图:(该图来自百度百科,如有侵权,望及时告知)是不是很抽象,不是很好理解?用简单的话说一下就是按照一定的规则绘制流程图,将这个...

2020-04-08 11:24:39 1783 1

使用c/c++实现语义分析器

这次编译原理实验要求实现语义分析,但最近空闲时间比较少,只能快速过一遍基础知识硬着头皮写了。但由于之前我设计文法大多只是为了测试使用,所以文法很不规范,这直接导致了语义子程序十分难实现,所以要想实现一个好的语义分析器,必须先设计好你的文法。 需要注意的是,这个语义分析器是建立在我之前写的语法分析器之上的。

2020-11-19

SLR(1)语法分析器

SLR(1)语法分析器

2020-11-13

活动安排问题的动态规划、贪心算法和树搜索算法求解(更新)

活动安排问题的动态规划、贪心算法和树搜索算法求解。 比如有一个多媒体教室,现在有四个待举办活动A、B、C、D。A是在8:00到10:00举行,简单记为[8, 10];B是[12, 14];C是[15, 17];D是[11, 19]。为了让尽可能多的活动举行,很明显我们要选择A、B、C为最大相容活动集,因为D与B、C都冲突。

2020-11-09

贪心算法-最小平铺路径

贪心算法-最小平铺路径,简单讲解贪心算法。贪心算法、算法导论、算法、c语言。 贪心算法-最小平铺路径,简单讲解贪心算法。贪心算法、算法导论、算法、c语言。

2020-10-27

excelUtils.zip

这是导出excel的一个工具类,仅供学习使用,如真实开发环境使用此工具类出现问题,这里不负责!可以通过这个工具类学习简单的poi导出excel操作,也可以比着自己实现一个自己的工具类,毕竟用自己的才安全放心。

2020-08-06

ActivitiUtils.zip

这个是activiti7的封装工具类,是模仿activiti7新加的模块runtime写的,解耦了security,但结合了自己的权限。该工具类没有测试,如要学习请在合适的环境下使用测试,以防破坏原有数据库结构。该工具类旨在让大家更好地学习activiti,而并不是直接拿来使用,而且作者也没有学习几天,所以可能会有错误,所以希望能把这个只当为学习的目录,真正的学习在不断百度中进行,如在正式环境中使用出现问题,作者概不负责!

2020-05-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除