yoylee_web

There is no end to learning, believe yourself!

kafka-如何保证消息的可靠性与一致性

在kafka中主要通过ISR机制来保证消息的可靠性。 下面通过几个问题来说明kafka如何来保证消息可靠性与一致性 在kafka中ISR是什么? 在zk中会保存AR(Assigned Replicas)列表,其中包含了分区所有的副本,其中 AR = ISR+OSR ISR(in sync r...

2019-01-03 14:54:06

阅读数:56

评论数:0

数据对齐-编辑距离算法详解(Levenshtein distance)

目录一:简介二:算法定义1:定义2:a small case3:算法的上下界限三:应用场景1:数据对齐2:拼写纠错四:其他的编辑距离算法五:算法实现1:递归实现2:动态规划实现 总结一句话:编辑距离就是从一个字符串变到另外一个字符串所需要最小的步骤 一:简介 在信息论、语言学和计算机科学中,Lev...

2018-12-14 20:26:34

阅读数:111

评论数:3

JanusGraph -- 存储结构

目录简介Bigtable数据模型:JanusGraph的存储:1:具体案例2:vertex id的组成:3:边和属性在cell中具体的存储形式4:其中对于property的存储:5:Edge label 的多样性6:序列化:JanusGraph Schema: 简介 JanusGraph是以邻接列...

2018-11-19 17:24:50

阅读数:159

评论数:0

千万级数据库使用索引查询速度更慢的疑惑-数据回表问题

环境 数据库:TiDB数据库(和mysql数据库极其相似的数据库) 表名:index_basedata 表数据:13 000 000条数据 表索引:包含一个普通索引,索引列 ”year“ 测试sql: SQ...

2018-08-01 13:24:17

阅读数:1014

评论数:0

单元测试-mock使用应该注意什么

目录概念使用场景原则常用框架 概念 Mock的概念,其实很简单:所谓的mock就是创建一个类的虚假的对象,在测试环境中,用来替换掉真实的对象,以达到两大目的: 验证这个对象的某些方法的调用情况,调用了多少次,参数是什么等等 指定这个对象的某些方法的行为,返回特定的值,或者是执行特定的动作 上...

2019-01-18 17:23:17

阅读数:15

评论数:0

Junit5系列-Junit5中assertThrows()与assertDoesNotThrow()方法详解

目录简介案例分析源码分析 简介 Junit5中新添加了对方法抛出异常的断言Assertions类中的assertThrows()和assertDoesNotThrow(),使用此方法可以对被测试方法抛出的异常进行断言测试,而在junit4中的对异常进行断言实现相对来说比较麻烦的。 assertT...

2019-01-15 12:49:12

阅读数:25

评论数:0

Junit5系列-Junit5中DisabledCondition条件测试执行

目录简介规定操作系统条件规定Java 运行环境条件规定系统属性条件规定环境变量条件规定脚本依赖条件 Junit5中提供了许多可以基于操作系统、系统变量、环境变量甚至可以基于脚本去进行启动或禁止测试方法的执行,但是不怎么常用,就直接翻译官网上的文章吧。 简介 JUnit Jupiter中的Exe...

2019-01-10 10:32:34

阅读数:20

评论数:0

Junit5系列-Junit5中@Disabled禁止执行

目录简介案例分析源码分析其他 简介 可以通过@Disabled注释,禁用整个测试类或单个测试方法。 这个@Disabled注解代替了Junit4中的@Ignore注解,功能相同。 案例分析 其中每个方法的作用代码中的注释写的已经非常清楚了,就不再赘述了. 大家最好将代码自己测试一遍,可以加深理解与...

2019-01-09 17:13:34

阅读数:25

评论数:0

Junit5系列-Junit5中Assumptions假设类

目录简介案例解析源码分析 简介 在Junit5中的JUnit Jupiter模块附带了JUnit 4提供的假设方法的一个子集,并添加了一些非常适合与Java 8 lambdas一起使用的方法。 所有JUnit Jupiter假设测试方法都是org.junit.jupiter.api.Assumpt...

2019-01-09 16:08:56

阅读数:22

评论数:0

Junit5系列-Junit5中Assertions断言类

目录简介案例解析源码解析Assertions与AssertNull 简介 junit5中的JUnit Jupiter提供了Assertions类来替代了junit4中的Assert类并且添加了一些新的方法,所以工作过程中完全可以使用Assertions代替Assert类。 其包名称为:org.ju...

2019-01-08 20:28:53

阅读数:36

评论数:1

Junit5系列-Junit5中@DisplayName自定义名称

目录简介demo分析源码分析 简介 测试类和测试方法可以声明自定义显示名称 ,可以包含空格,特殊字符,甚至是表情符号 ,自定义名称将由测试运行者和测试报告显示。 上述功能的实现使用的就是junit5中的@DisplayName注解 demo分析 测试代码: import org.junit.jup...

2019-01-08 18:25:30

阅读数:35

评论数:0

【转】kafka-告诉你什么是kafka

文章转自:http://orchome.com/5 Kafka作为一个分布式的流平台,这到底意味着什么? 我们认为,一个流处理平台具有三个关键能力: 发布和订阅消息(流),在这方面,它类似于一个消息队列或企业消息系统。 以容错的方式存储消息(流)。 在消息流发生时...

2019-01-03 15:10:32

阅读数:57

评论数:0

【转】kafka-文件存储机制详解

文章转自“美团技术博客”:https://tech.meituan.com/ Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问...

2019-01-03 15:04:52

阅读数:18

评论数:0

spring如何设置定时任务详解(@Scheduled)

目录一:注解方式配置定时任务:二:@Scheduled三:原理简介四:其他 以前用过这个注解实现定时任务,但是只是使用,现在做项目又用到了这个功能,系统的学习一下~ spring定时任务设置有两种方式,注解和xml配置。推荐使用注解,在本文章也主要介绍注解方式配置 一:注解方式配置定时任务: ...

2018-12-26 18:09:38

阅读数:41

评论数:1

【转】全面的告诉你项目的安全性控制需要考虑的方面

一、背景 团队最近频繁遭受网络攻击,引起了技术负责人的重视,笔者在团队中相对来说更懂安全,因此花了点时间编辑了一份安全开发自检清单,觉得应该也有不少读者有需要,所以将其分享出来。 二、编码安全 2.1 输入验证 说明 检查项 概述 ...

2018-12-11 20:44:19

阅读数:106

评论数:0

Gremlin -- 常用查询用法

目录一:gremlin查询过程二:常用的查询方法三:java中如何使用呢?1:创建源节点2:组装语句 一:gremlin查询过程 gremlin的查询是流式查询,一步一步的进行下去,当然这里的“一步”可能是一个方法(g.V().has())也可能是多个方法组成的一步(g.V().order().b...

2018-12-03 16:37:19

阅读数:214

评论数:0

Gremlin-官网介绍翻译

目录一:简介二:demo体验三:OLTP 和 OLAP遍历四:命令式和声明式遍历五:无缝嵌入主语言六:更多的信息 一:简介 本博文为翻译自官网的博文,官网:http://tinkerpop.apache.org/gremlin.html Gremlin是Apache TinkerPop 框架下...

2018-12-01 16:36:54

阅读数:102

评论数:0

Log4j2 + SLF4j打造日志系统

目录一:前言二:添加依赖2.1:去除直接和间接依赖的log4j1和SLF4j2.2:添加依赖三:xml配置3.1:log4j2.xml常用demo3.2:demo的优点3.3:内容详解3.4:demo变形3.4.1:同步打印日志3.4.2:全部异步打印日志3.4.3:混合模式打印日志四:其他4.1...

2018-11-23 15:29:09

阅读数:207

评论数:0

JanusGraph -- 简介

目录简介历史基本概念关键点(来自官网)整体架构(来自官网)如何使用:其他:ETLOLTP与OLAP 简介 图数据库源起欧拉和图理论,也可称为面向/基于图的数据库,对应的英文是Graph Database。 图数据库的基本含义是以“图”这种数据结构存储和查询数据,而不是存储图片的数据库。它的数据...

2018-11-19 17:58:15

阅读数:90

评论数:0

Hadoop与Spark关系

Hadoop与Spark的关系目录一:介绍1:Spark2:Hadoop二:不同层面的关系1:功能2:依赖关系3:数据量影响4:容错 说明:近期在做一个图关系项目时,使用到了saprk分析引擎和Hadoop的HDFS文件系统,在了解的过程中产生了关于Hadoop与Spark的关系是什么样的疑问,...

2018-11-11 17:29:14

阅读数:78

评论数:0

提示
确定要删除当前文章?
取消 删除