跨过山和大海的博客

最新java资料分享 帮助有需要的朋友

大数据反欺诈技术架构

一年多以前,有朋友让我聊一下你们的大数据反欺诈架构是怎么实现的,以及我们途中踩了哪些坑,怎么做到从30min延迟优化到1s内完成实时反欺诈。当时呢第一是觉得不合适,第二也是觉得场景比较局限没什么分享的必要性。 时间也过了很久了,最近看到圈里一些东西,发现当时的这套架构并未落伍,依然具有很大的参考...

2019-01-21 11:22:17

阅读数 692

评论数 0

大数据时代的数据存储,非关系型数据库MongoDB

爆炸式发展的NoSQL技术  在过去的很长一段时间中,关系型数据库(Relational Database Management System)一直是最主流的数据库解决方案,他运用真实世界中事物与关系来解释数据库中抽象的数据架构。然而,在信息技术爆炸式发展的今天,大数据已经成为了继云计算,物联网...

2019-01-31 11:04:47

阅读数 87

评论数 0

Kafka 最佳实践

Kafka 基本配置及性能优化 这里主要是 Kafka 集群基本配置的相关内容。 硬件要求 Kafka 集群基本硬件的保证 OS 调优 OS page cache:应当可以缓存所有活跃的 Segment(Kafka 中最基本的数据存储单位); fd 限制:100k+; ...

2019-01-30 16:21:11

阅读数 111

评论数 1

谈谈 Java 类加载机制

概述 类加载器主要分为两类,一类是 JDK 默认提供的,一类是用户自定义的。 JDK 默认提供三种类加载器: Bootstrap ClassLoader 启动类加载器:每次执行 java 命令时都会使用该加载器为虚拟机加载核心类。该加载器是由 native code 实现,而不是 Java...

2019-01-30 10:36:55

阅读数 35

评论数 0

Java并发之Condition的实现分析

一、Condition的概念 介绍 回忆 synchronized 关键字,它配合 Object 的 wait()、notify() 系列方法可以实现等待/通知模式。 对于 Lock,通过 Condition 也可以实现等待/通知模式。 Condition 是一个接口。 Condition...

2019-01-29 17:11:52

阅读数 24

评论数 0

Redis集群以及自动故障转移测试

在Redis中,与相比Sentinel(哨兵)实现的高可用,集群(cluster)更多的是强调数据的分片或者是节点的伸缩性,如果在集群的主节点上加入对应的从节点,集群还可以自动故障转移,因此相比Sentinel(哨兵)还是有不少优势的。 以下简单测试Redis的集群(单机多实例的模式),来体验一...

2019-01-29 11:28:54

阅读数 43

评论数 0

Java中的构造函数引用和方法引用

方法引用的一些背景 如果你还不知道 Java 构造函数本身就是特殊的方法,那么阅读方法引用的基本示例将对读者有所帮助,通过了解这些内容,可以了解构造函数引用是什么。 方法引用可以引用静态方法和实例方法,两者是通用的。方法引用是函数式接口的实例。虽然 Lambda 表达式允许你动态创建方法实现,...

2019-01-28 11:50:40

阅读数 56

评论数 0

深入理解单例模式

ObjectInputStream 对象的序列化过程通过ObjectOutputStream和ObjectInputputStream来实现的,那么带着刚刚的问题,分析一下ObjectInputputStream的readObject 方法执行情况到底是怎样的。 为了节省篇幅,这里给出Obje...

2019-01-27 15:26:42

阅读数 105

评论数 0

jvm垃圾回收算法

前言 java相较于c、c++语言的优势之一是自带垃圾回收器,程序开发人员不用手动管理内存,内存的分配和释放完全由gc(Garbage Collector)来做,极大地提高了软件开发效率及程序健壮性(手动管理内存容易造成内存泄漏)。凡事皆有两面性,java gc在给我们带来内存管理便捷性的同时,...

2019-01-27 11:34:20

阅读数 60

评论数 0

MySQL Cluster 与 MongoDB 复制群集分片设计及原理

分布式数据库计算涉及到分布式事务、数据分布、数据收敛计算等等要求 分布式数据库能实现高安全、高性能、高可用等特征,当然也带来了高成本(固定成本及运营成本),我们通过MongoDB及MySQL Cluster从实现上来分析其中的设计思路,用以抽象我们在设计数据库时,可以引用的部分设计方法,应用于我...

2019-01-26 11:08:15

阅读数 58

评论数 0

Spring中的统一异常处理

在具体的SSM项目开发中,由于Controller层为处于请求处理的最顶层,再往上就是框架代码的。因此,肯定需要在Controller捕获所有异常,并且做适当处理,返回给前端一个友好的错误码。 不过,Controller一多,我们发现每个Controller里都有大量重复的、冗余的异常处理代码,...

2019-01-25 11:41:28

阅读数 41

评论数 0

分布式系统关注点—“无状态”详解

一、初识“状态” 我们首先举个例子。 开发 Z 哥对运维 Y 弟喊:“Y 弟,现在系统好卡,刚上了一波活动,赶紧帮我加几台机器上去顶一下。” Y 弟回复说:“没问题,分分钟搞定”。 然后就发现数据库的压力迅速上升,DBA 就吼了:“Z 哥,你丫的搞什么呢?数据库要被你弄垮了”。 然后客服...

2019-01-24 11:12:49

阅读数 55

评论数 0

限流从概念到实现

并发数限流 并发数限流限制的是同一时刻的并发数,所以不考虑线程安全的话,我们只要用一个int变量就能实现,伪代码如下: int maxRequest=100; int nowRequest=0; public void request(){ if(nowRequest&am...

2019-01-23 11:14:35

阅读数 39

评论数 0

如何保证MongoDB的安全性?

根据安全站点HackenProof的报告,由于MongoDB数据库没有采取任何安全保护措施,导致共计202,730,434份国人求职简历泄漏。 然后很多人评论说MongoDB躺枪了。 MongoDB确实躺枪了,因为这事的责任当然不在数据库,而在于使用数据库的人没有做必要的安全配置。 那么...

2019-01-22 16:44:47

阅读数 52

评论数 0

Redis 架构演变与 Redis-cluster 群集读写方案

近年来redis多实例用架构的演变过程 redis是基于内存的高性能key-value数据库,若要让redis的数据更稳定安全,需要引入多实例以及相关的高可用架构。而近年来redis的高可用架构亦不断改进,先后出现了本地持久化、主从备份、哨兵模式、redis-cluster群集高可用架构等等方案...

2019-01-22 11:16:10

阅读数 68

评论数 0

分布式之延时任务方案解析

方案分析 (1)数据库轮询 思路 该方案通常是在小型项目中使用,即通过一个线程定时的去扫描数据库,通过订单时间来判断是否有超时的订单,然后进行update或delete等操作 实现 博主当年早期是用quartz来实现的(实习那会的事),简单介绍一下 maven项目引入一个依赖如下所示 ...

2019-01-19 14:13:22

阅读数 43

评论数 0

Java可重入锁原理

一、 概述 本文首先介绍Lock接口、ReentrantLock的类层次结构以及锁功能模板类AbstractQueuedSynchronizer的简单原理,然后通过分析ReentrantLock的lock方法和unlock方法,来解释ReentrantLock的内部原理,最后做一个总结。本文不涉...

2019-01-18 16:37:35

阅读数 31

评论数 0

Docker的系统资源限制及验证

1 、限制容器的资源 默认情况下, 容器没有资源限制 ,可以使用主机内核调度程序允许的尽可能多的给定资源。 Docker 提供了控制容器可以 使用多少内存或 CPU 的方法 ,设置 docker run 命令的运行时配置标志。本篇提供有关何时应设置此类限制的详细信息以及设置这些限制的可能含义。 ...

2019-01-17 11:09:27

阅读数 61

评论数 0

Dubbo 实践,演进及未来规划

Dubbo 整体介绍 Dubbo 是一款高性能,轻量级的 Java RPC 框架。虽然它是以 Java 语言来出名的,但是现在我们生态里面已经有 Go、Python、PHP、Node.JS 等等语言。 Dubbo 是一个 RPC 框架,它和所有的 RPC 一样,有一个最小运行子集,它需要 ...

2019-01-16 16:10:40

阅读数 74

评论数 0

从 JVM 分析 hibernate-validator NoClassDefFoundError

最近排查一个spring boot应用抛出hibernate.validator NoClassDefFoundError的问题,异常信息如下: Caused by: java.lang.NoClassDefFoundError: Could not initialize class org....

2019-01-16 11:15:43

阅读数 34

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭