我也要用- 博客(273)
- 资源 (23)
- 论坛 (2)
- 问答 (7)
- 收藏
- 关注
RSS订阅
原创
京东毫秒级热key探测框架设计与实践，已完美支撑618大促
原力计划
在拥有大量并发用户的系统中，热key一直以来都是一个不可避免的问题。或许是突然某些商品成了爆款，或许是海量用户突然涌入某个店铺，或许是秒杀时瞬间大量开启的爬虫用户， 这些突发的无法预先感知的热key都是系统潜在的巨大风险。风险是什么呢？主要是数据层，其次是服务层。热key对数据层的冲击显而易见，譬如数据存放在redis或者MySQL中，以redis为例，那个未知的热数据会按照hash规则被存在于某个redis分片上，平时使用时都从该分片获取它的数据。由于redis性能还不错，再加上集群模式，每秒我们
2020-06-28 18:38:53
3828
原创 任意组合、编排的多线程并发框架，支持任意阻塞、等待、串并行组合，回调、超时、默认值等
并发场景可能存在的需求之——任意编排1 多个执行单元的串行请求2 多个执行单元的并行请求3 阻塞等待，串行的后面跟多个并行4 阻塞等待，多个并行的执行完毕后才执行某个5 串并行相互依赖6 复杂场景并发场景可能存在的需求之——每个执行结果的回调传统的Future、CompleteableFuture一定程度上可以完...
2019-12-25 16:29:53
1433
原创 基于各服务注解方式，在网关zuul中对所有下游服务权限做控制，覆盖到所有接口，权限控制到角色、菜单、按钮、方法
开源地址：https://gitee.com/tianyalei/zuulauth在单体应用架构下，常见的用户-角色-菜单权限控制模式，譬如shiro，就是在每个接口方法上加RequireRole，RequirePermission，当调用到该方法时，可以从配置的数据库、缓存中来进行匹配，通过这种方式来进行的权限控制。而在微服务架构下，我们会使用网关来作为所有服务的入口，由网关来完成鉴权、...
2019-08-15 12:29:24
4048
原创 使用Java开发一个自己的区块链产品、联盟链
开源地址：https://gitee.com/tianyalei/md_blockchainhttps://gitee.com/tianyalei/md_blockchain_managerJava区块链平台，基于Springboot开发的区块链平台。区块链qq交流群737858576，一起学习区块链平台开发，当然也交流Springboot、springcloud、机器学习等知识。起因...
2018-04-11 17:07:30
18712
5
原创 京东猎户座发布开源，配置化一键生成cms系统
猎户座核心配置化功能开源啦！在降本提效的大环境下，猎户座系统为了扩展更多应用场景，近期完成了第一阶段的开源工作。此次开源的代码内容涉及两个代码库，内容为CCMS管理系统核心配置化功能以及包含表格列与表单项在内的常用组件。 配置化核心业务逻辑（开源地址） UI实现代码库（开源地址）希望通过开源吸引更多贡献者参与共建，完善对各类表单项、列表项的展示、校验需求的覆盖，促进产品的长期发展。收集Issue以及社区的反馈，不断优化功能的同时全面掌握用户诉求。开源介绍1、简介...
2021-04-16 11:39:37
90
转载 网络编程入门从未如此简单(二)：假如你来设计TCP协议，会怎么做？
本文原题“你管这破玩意儿叫TCP？”，由作者闪客sun发布于“低并发编程”公众号，本次收录时有改动和修订1、引言网络编程能力对于即时通讯技术开发者来说是基本功，而计算机网络又是网络编程的理论根基，因而深刻准确地理解计算机网络知识显然能夯实你的即时通讯应用的实践品质。本文风格类似于52im社区里的《网络编程懒人入门》、《脑残式网络编程入门》两个系列，但通俗又不失内涵，简洁又不简陋，非常适合对计算机网络知识有向往但又有惧怕的网络编程爱好者们阅读，希望能给你带来不一样的网络知识入门视角。本篇将运用通俗
2021-02-23 16:36:11
206
转载 网络编程入门从未如此简单(一)：假如你来设计网络，会怎么做？
本文原题“如果让你来设计网络”，有修订和改动，收录已征得作者同意，转载请联系作者。本文已同步发布于52im社区：http://www.52im.net/thread-3330-1-1.html（点击“阅读原文”进入）1、引言网络编程能力对于即时通讯技术开发者来说是基本功，而计算机网络又是网络编程的理论根基，因而深刻准确地理解计算机网络知识显然能夯实你的即时通讯应用的实践品质。本文风格类似于52im社区里的《网络编程懒人入门》、《脑残式网络编程入门》两个系列，但通俗又不失内涵，简洁又不简陋，非常适
2021-02-01 16:30:09
221
转载 图解Linux网络包接收过程
转载自：https://mp.weixin.qq.com/s/GoYDsfy9m0wRoXi_NCfCmg因为要对百万、千万、甚至是过亿的用户提供各种网络服务，所以在一线互联网企业里面试和晋升后端开发同学的其中一个重点要求就是要能支撑高并发，要理解性能开销，会进行性能优化。而很多时候，如果你对Linux底层的理解不深的话，遇到很多线上性能瓶颈你会觉得狗拿刺猬，无从下手。我们今天用图解的方式，来深度理解一下在Linux下网络包的接收过程。还是按照惯例来借用一段最简单的代码开始思考。为了简单起见，我们.
2021-01-22 12:11:12
314
转载 漫画 | 花了七天时间测试，我彻底搞明白了 TCP 的这些内存开销!
原创张彦飞allen开发内功修炼实际中 TCP 连接上肯定是要进行数据的收发的，而且还会有 TIME_WAIT 等其它状态。在这些复杂情况下，一条连接占用多大内存呢？飞哥用做了七天的实验结果告诉你！实验1：ESTABLISH空连接实验2：客户端 => 服务器发送数据测试实验3: 服务器 => 客户端发送数据测试实验4：非 ESTABLISH 状态...
2021-01-22 10:55:28
113
转载 IP 基础知识“全家桶”，45 张图一套带走
目录前言正文前菜 —— IP 基本认识网络层与数据链路层有什么关系呢？主菜 —— IP 地址的基础知识IP 地址的分类无分类地址 CIDR公有 IP 地址与私有 IP 地址IP 地址与路由控制IP 分片与重组IPv6 基本认识IPv6 的亮点IPv6 地址的标识方法IPv6 地址的结构IPv6 单播地址类型IPv4 首部与 IPv6 首部点心 —— IP 协议相关技术DNS域名的层级关系域名解析的工作流程ARP那么.
2021-01-05 13:46:31
250
转载 一文讲懂什么是vlan、三层交换机、网关、DNS、子网掩码、MAC地址
很多朋友多次问到什么是网关、dns、子网掩码，三层交换机，它们定位的用途；确实，因为网络技术在弱电中确实应用非常广泛，我们平时在vip技术群中也是不断的讨论到网关、vlan、三层交换机或子网掩码等问题，今天我们就一起用通俗方式一次性了解清楚。一、什么是vlan?VLAN中文是“虚拟局域网”。LAN可以是由少数几台家用计算机构成的网络，也可以是数以百计的计算机构成的企业网络。VLAN所指的LAN特指使用路由器分割的网络——也就是广播域。听上面的概念，肯定有不少朋友是一头雾水的，什么是虚拟局域网？好
2020-12-31 10:24:55
130
原创 Java netty获取堆外内存占用
在使用了netty的系统中，有时会出现内存泄露的问题，我们就需要去监控这个堆外内存的占用，以排查是否是堆外泄露，下面的代码就是查看堆外内存的。可以写个定时任务，持续调用doReport方法来获取堆外内存。netty版本需要4.1以上import io.netty.util.internal.PlatformDependent;import org.springframework.stereotype.Component;import org.springframework.util.Refl
2020-10-20 09:57:05
728
3
转载 蚂蚁集团网络通信框架 SOFABolt 功能介绍及协议框架解析 | 开源
大家好，我是本期 SOFAChannel 的分享讲师丞一，来自蚂蚁集团，是 SOFABolt 的开源负责人。今天我们来聊一下蚂蚁集团开源的网络通信框架 SOFABolt 的框架解析以及功能介绍。本期分享将从以下四个方面展开：SOFABolt 简介； 基础通信能力解析； 协议框架解析； 私有协议实现解析；SOFABolt 是什么SOFABolt 产生背景相信大家都知道 SOFAStack，SOFAStack(Scalable Open Financial Architecture St..
2020-09-22 10:03:17
546
转载 tcp socket的发送与接收缓冲区
1) 应用程序可通过调用send(write, sendmsg等)利用tcp socket向网络发送应用数据，而tcp/ip协议栈再通过网络设备接口把已经组织成struct sk_buff的应用数据(tcp数据报)真正发送到网络上，由于应用程序调用send的速度跟网络介质发送数据的速度存在差异，所以，一部分应用数据被组织成tcp数据报之后，会缓存在tcp socket的发送缓存队列中，等待网络空闲时再发送出去。同时，tcp协议要求对端在收到tcp数据报后，要对其序号进行ACK，只有当收到一个tcp 数据报的
2020-09-09 19:15:20
842
原创 京东开源热key探测（JD-hotkey）中间件单机qps 提升17倍实战
京东hotkey框架（JD-hotkey）是京东app后台研发的一款高性能热数据探测中间件，用来实时探测出系统的热数据，并将热数据毫秒内推送至系统的业务集群服务器的JVM内存。以下统称为"热key"。该框架主要用于对任意突发性的无法预先感知的热key，包括并不限于热点数据（如突发大量请求同一个商品）、热用户（如恶意爬虫刷子）、热接口（突发海量请求同一个接口）等，进行毫秒级精准探测到。然后对这些热key，推送到所有服务端JVM内存中，以大幅减轻对后端数据存储层的冲击，并可以由使用者决定如何分配、使用这些热
2020-09-01 18:15:57
792
转载 Netty系列之Netty百万级推送服务设计要点
原文来自于：李林峰https://www.infoq.cn/article/netty-million-level-push-service-design-points/1. 背景1.1. 话题来源最近很多从事移动互联网和物联网开发的同学给我发邮件或者微博私信我，咨询推送服务相关的问题。问题五花八门，在帮助大家答疑解惑的过程中，我也对问题进行了总结，大概可以归纳为如下几类：Netty 是否可以做推送服务器？ 如果使用 Netty 开发推送服务，一个服务器最多可以支撑多少个客户端？..
2020-08-10 19:25:35
930
1
原创 netty结合Protostuff传输对象案例，单机压测秒级接收35万个对象
单纯netty结合protostuff进行rpc对象传输的demo网上有很多，大部分都是一个模子刻出来的，一开始我也是抄了一个，本地测试畅通无阻，未发生任何异常。部署预发环境，进行压测后，问题巨多，各种报错层出不穷。当然，压测时我用的数据量大、发送请求非常密集，单机是每秒前100ms发送2万个对象，其他900ms歇息，死循环发送，共计40台机器作为客户端，同时往2台netty Server服务器发送对象，那么平均每个server每秒大概要接收40万个对象，由于后面还有业务逻辑，逻辑每秒只能处理35万实测。
2020-07-31 16:40:43
1226
11
原创 etcd集群搭建和使用中常见的报错信息（热key探测系列教程）
etcd的下载地址：https://github.com/etcd-io/etcd/releases当前最新的v3.4.9，我之前用的时候包括目前京东热key线上都是用的3.4.6，下面主要是看一下如何搭建etcd集群。如果是本地测试单点的话，就在上面链接下载对应的操作系统版本，打开后直接启动etcd就算本地启动成功了，启动后就可以用etcdctl控制台进行操作，或者用代码操作etcd即可。集群的话，以linux 3节点集群为例。创建一个sh脚本，如下#!/bin/bash
2020-07-06 17:53:23
938
2
原创
京东热key探测框架本地压测数据记录，单机（8核）QPS约16万/s，可水平扩展
原力计划
继上一次全链路压测时，热key框架由于Java低版本（1.8.0_131之前的1.8）获取docker内cpu核数有问题，实则获取的是宿主机的核数，造成线程数量过多，压测瞬间cpu达到100%，问题也记录在了另一篇（https://blog.csdn.net/tianyaleixiaowu/article/details/106092060）。后来找到了问题原因，并成功修复了。然后还修改了一些其他的小问题，总体感觉框架比较稳定了。我就自己做了一些性能方面的压测，分别先后使用了4台、8台、16台、32台机器作
2020-05-25 11:57:40
1077
1
原创
京东618大促压测时自研中间件暴露出的问题总结，压测级别数十万/秒
原力计划
前天618大促演练进行了全链路压测，在此之前刚好我的热key探测框架也已经上线灰度一周了，小范围上线了2500台服务器，每秒大概接收几千个key探测，每天大概2-4亿左右，因为量很小，所以框架表现稳定。借着这次压测，刚好可以检验一下热key框架在大流量时的表现。毕竟作为一个新的中间件，里面很多东西还是第一次用，免不得会出一些问题。压测期，我没有去扩容热key的worker集群，还是平时用的3个16C+1个4C8G的组合，3个16核是是主力，4核的是看上限能到什么样。由于之前那一周的平稳表现，导致我有
2020-05-13 14:11:04
9310
16
转载 4次优化，我把 Redis 性能 “压榨” 到极致！
本文转载自公众号https://mp.weixin.qq.com/s/y4q4Hb9A6xay3pAC_LBm5g我们有个这样的需求：每天每一个抢购商品只能买一次，并且全场抢购商品总购买次数不允许超过5次。那么，整个商品限购的流程大概如下图所示：那么，在每次购买成功商品成功后，发送的MQ大概是这样的（假设当前这笔订单有两件抢购商品）：这条消息表示86000000000...
2020-03-19 12:04:17
2842
2
原创 手写中间件之——并行框架（4 相互依赖模型的建立）
建议学习时，打开代码https://gitee.com/tianyalei/asyncTool 对着代码看。上一篇主要讲了如何实现异步回调，简单回忆一下是如何实现的。java的future的get方法是同步阻塞的，无法达到任务完成后主动回调的目的。netty的future是可以做到回调的，通过addListener的方式，但是为什么addListener后就能回调了，也是通过封装执行单元和回...
2020-01-22 13:46:00
2479
9
原创 开源异步并行框架，完成任意的多线程编排、阻塞、等待、串并行结合、强弱依赖
本文首发于京东零售公众号，https://mp.weixin.qq.com/s/17OAAbCKQND-AjTdf43TGwnetty是一个经典的网络框架，提供了基于NIO、AIO的方式来完成少量线程支持海量用户请求连接的模型。netty里面充斥了大量的非阻塞回调模式，主要是靠Future/Promise异步模型来实现的。Future是java.util.concurrent.Future...
2020-01-14 19:34:56
2012
原创 手写中间件之——并行框架（3 异步回调如何实现）
上一篇主要讲了任务的编排该如何实现，包括串、并、串并结合。建议一定要手写个小demo去尝试各种基本组合。这一篇主要是讲该如何实现异步回调。如果之前有用过netty的应该知道，netty里大量充斥着“回调”，各种addListener，将各种耗时任务变成了异步带回调的模式。回调是个很有用的模式，譬如我的主线程执行过程中，要执行一个非常耗时的逻辑，自然我们会想到用异步的形式去完成这个耗时逻...
2020-01-07 10:04:23
1844
9
转载 Netty实现自定义协议
关于协议，使用最为广泛的是HTTP协议，但是在一些服务交互领域，其使用则相对较少，主要原因有三方面：HTTP协议会携带诸如header和cookie等信息，其本身对字节的利用率也较低，这使得HTTP协议比较臃肿，在承载相同信息的情况下，HTTP协议将需要发送更多的数据包； HTTP协议是基于TCP的短连接，其在每次请求和响应的时候都需要进行三次握手和四次挥手，由于服务的交互设计一般都要求能够...
2020-01-06 17:36:00
2021
原创 手写中间件之——并行框架（2 任务编排顺序如何选型和实现）
这一篇我们就要开始手写这个并行框架了。做任何一个项目，都要做的事情都是先定大框架，后拆解任务。那么这个并发框架，要完成上一篇讲的那些所有任务，该如何定大框架呢，如何选型呢？如果大家仔细看了上一篇文章，可以看到该框架的难点和重点，主要有两点，分别是任务的顺序编排和任务结果的回调。如何做任务顺序编排依次来看一下各个基本场景1 全串行这种是最简单的，依次串行即可。假如...
2020-01-03 17:39:03
2180
2
原创 手写中间件之——并行框架（1 并行框架的应用场景和需求）
我们为什么会需要一个带任务顺序编排的并行框架1 复杂的微服务系统间调用经常会有这样的调用场景：app（或web前端）调用后台的一个接口，该接口接到该请求后，需要调用其他多个微服务来获取数据，最终汇总一个最终结果返回给用户。譬如用户请求“我的订单”，后台在收到请求后，就需要去调用用户详情rpc、商品详情rpc、库存rpc、优惠券rpc等等很多个服务。有些服务是可以并行去请求的，但有些服务...
2020-01-02 11:28:58
5073
3
转载 使用 Reactor 进行反应式编程
反应式编程（Reactive Programming）这种新的编程范式越来越受到开发人员的欢迎。在 Java 社区中比较流行的是 RxJava 和 RxJava 2。本文要介绍的是另外一个新的反应式编程库 Reactor。反应式编程介绍反应式编程来源于数据流和变化的传播，意味着由底层的执行模型负责通过数据流来自动传播变化。比如求值一个简单的表达式 c=a+b，当 a 或者 b 的值发生变化...
2019-12-31 13:36:50
862
原创 Java中使用etcd，包括基本的set、get、超时设置，watch监听等
etcd的使用文章。etcd来zookeeper类似，常用的主要有set，get，getPrefix：获取指定前缀的所有数据，grant：key的超时设置，watch：监听回调事件，watchPrefix：监听某个前缀的事件，keepAlive：为某个key设置自动续约、自动刷新过期时间。zk的大部分功能，etcd都有。但有一个，譬如虚拟节点，zk可以做到当客户端断开时，立马监听到，etc...
2019-12-12 16:32:15
4178
2
原创 redis探秘：选择合适的数据结构，减少80%的内存占用，这些点你get到了吗？
本文首发于京东零售平台公众号，https://mp.weixin.qq.com/s/uzuz7rqctQ-bjdRcf1tO9gredis作为目前最流行的nosql缓存数据库，凭借其优异的性能、丰富的数据结构已成为大部分场景下首选的缓存工具。由于redis是一个纯内存的数据库，在存放大量数据时，内存的占用将会非常可观。那么在一些场景下，通过选用合适的数据结构来存储，可以大幅减少内存的占用，...
2019-12-10 09:29:31
1087
1
转载 使用Retryer优雅地实现对Callable各种各样的重试调用
Runnable和Callable都是多线程编程中常用的接口，通常是通过实现该接口编写业务逻辑后，再由new Thread去发起线程调用。主要区别在于Runnable没有返回值，而Callable有返回值。下面就来看一个重试框架Retryer，针对Callable做的各种重试策略方法。 API 接口调用异常, 网络异常在我们日常开发中经常会遇到，这种情况下我们需要先重试几次调用才能将其标识...
2019-11-28 10:24:45
872
转载 10G mysql binlog重放并传输到另一台服务器执行，阿里中间件大赛
转载自：https://tianchi.aliyun.com/forum/new_articleDetail.html?spm=5176.11165310.0.0.90a57f61Sy5xTQ&raceId=231600&postsId=2035这个冠军的方案确实赞，10G的mysql binlog重放并传输只用了2秒！总决赛冠军队伍 作死小分队 比赛攻略决赛答...
2019-11-26 17:02:13
1904
原创 分布式环境下对部分热数据（如redis热key，热请求）进行探测，并对探测结果及时同步到各个client实例的JVM内存的方案简述
可先阅读之前的这篇，有赞的热key探测及缓存方案。常见场景突发性的无法预先感知的热点数据请求，或者有阵发性明显热点数据的。譬如突然大量请求都命中了redis的某个分片，造成该redis卡顿，影响其他请求。热key特性如 goodsId=100，突发1万请求该key。譬如突然大量同一个用户的请求某一个或多个接口，呈现出攻击性访问的。热key特性如userId-99= /cart,/c...
2019-11-15 10:06:53
767
1
原创 Java简单实现滑动窗口
由于最近有一个统计单位时间内某key的访问次数的需求，譬如每5秒访问了redis的某key超过100次，就取出该key单独处理。这样的单位时间统计，很明显我们都知道有个边界问题，譬如5秒内100次的限制。刚好前4.99秒访问都是0，最后0.01秒来了100次，5.01秒又来了100次。也就是访问有明显的毛刺情况出现，为了弱化这个毛刺情况，我们可以采用滑动窗口。滑动窗口滑动窗口的主要原理...
2019-11-01 17:28:52
9749
2
转载 有赞的redis热key探测及缓存到jvm内存框架方案
下面这篇文章来自于有赞的知识共享，总体设计还是不错的，但我对其中的一点比较存疑。就是将计算热点key的工作放在客户端这里。因为一个java实例，可能面临巨多的get请求，譬如请求的key数量较多，那么由客户端来记录这些key，并计算key的热度，是一个比较费力且吃内存的事。即便他限制了最大内存量，那可能会漏掉很多key。还有一种，譬如某个key非常热，但是请求分散到了N个实例里，显得单个实...
2019-10-29 10:50:10
1756
5
转载 高级开发必须理解的Java中SPI机制
本文通过探析JDK提供的，在开源项目中比较常用的Java SPI机制，希望给大家在实际开发实践、学习开源项目提供参考。1 SPI是什么SPI全称Service Provider Interface，是Java提供的一套用来被第三方实现或者扩展的API，它可以用来启用框架扩展和替换组件。整体机制图如下：Java SPI 实际上是“基于接口的编程＋策略模式＋配置文件”组合实现的动态...
2019-10-25 15:25:13
344
原创 7 mysql事务（包括redo log，undo log，MVCC）及事务实现原理
之前写了几篇mysql存储原理的文章。6Innodb_buffer_pool5b+ tree和每个page存储结构4innodb文件系统基本结构（段、簇、页面）3innodb文件系统初步入门2表对象缓存1 连接层这一篇终于到事务了，事务大家都知道ACID概念，那么mysql是如何完成事务的呢？先来看结论——原子性：一次事务中的所有操作，要么全部完成...
2019-10-22 17:23:32
2061
2
原创 使用redis分布式锁高并发下QPS测试，单机一秒下1千个订单
前面一篇讲过并发下单时进行优化的一些策略，后来我写了代码进行了实测。关于redisson做分布式锁的代码在这篇文章。这里我来测试一下分布式锁的性能。简单的controllerpackage com.tianyalei.redislock.controller;import org.springframework.web.bind.annotation.RequestMapping...
2019-10-15 19:40:23
2536
原创 关于电商秒杀系统中防超卖、以及高性能下单的处理方案简述
秒杀抢购系统的成功平稳运行，有一些需要注意的知识点。1 高并发，以及刷接口等黑客请求对服务端的负载冲击2 高并发时带来的超卖，即商品数量的控制3 高负载下，下单的速度和成功率的保证4 其他以秒杀单品为例，如抢小米手机。解决方案探讨：第一步 限制前端发来的请求量譬如定在了周二10点开启抢购，那么在之前的一周时间内，都会有预约通知，或者普通的用户浏览。通过预约量、浏览量...
2019-10-12 19:42:14
4728
转载 分布式事务之Seata中间件原理及流程详细分析
转载自：https://blog.csdn.net/f4761/article/details/89077400背景在分布式系统中，分布式事务是一个必须要解决的问题，目前使用较多的是最终一致性方案。自年初阿里开源了Fescar（目前更名为Seata）后，该项目受到了极大的关注度。Seata以高性能和零侵入的方式为目标解决微服务领域的分布式事务难题，目前正处于快速迭代中，近期小目标是生产可用...
2019-10-08 20:19:23
2216
音乐播放器java制作
2012-11-07
java反编译工具jad
2012-11-10
天涯泪小武的留言板
发表于 2020-01-02 最后回复 2020-03-30
使用java开发的区块链联盟链，已开源
发表于 2018-04-27 最后回复 2018-04-27
ElasticSearch怎么做查询某个字段大于某个值的查询
2017-09-20
求一个富文本编辑器，生成的网页能在手机上适配。不需要在电脑上适配
2016-06-08
问一个使用hibernate对表排序的问题
2016-10-25
javaweb大神请进，如何在struts的一个action里处理多个数据操作逻辑
2016-07-15
服务器上tomcat需要更新程序时，大家是怎么办的，直接关闭tomcat重启吗？
2016-04-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝