- 博客(198)
- 资源 (22)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 开发常用工具
redis客户端-RedisDesktopManager远程终端客户端-MobaXterm抓包工具-Fiddler数据库表设计工具-PowerDesigner开发工具-IntelliJ IDEA文件快速搜索工具-Search Everything文件比较工具-Beyond Comparemongodb客户端-robo3t屏幕取色工具-GetColor............
2020-03-27 13:18:50
1330
1
原创 【Idea】Idea常用插件
● Free MyBatis plugin● Grep Console● Lombok● GsonFormat● MyBatis log Plugin● Markdown Navigator● GenerateAllSetter
2020-03-27 09:57:21
1562
2
原创 研发架构图
研发架构图是指用于展示软件或产品研发过程中的系统架构、模块结构以及各个模块之间的关系的图表。构建合理的研发架构，是推动企业创新的核心要素之一。
2024-10-25 10:21:32
168
原创 如何实现多租户应用场景
架构设计方案独立数据库模式每个租户一个单独的数据库,完全隔离,安全性高,但不易扩展。共享数据库共享模式所有租户共享数据库,使用租户ID字段来区分数据,更易扩展,但隔离性差。共享数据库独立模式共享数据库 but 每个租户一个schema,平衡了隔离性和扩展性。独立部署模式每个租户一个完全独立的应用实例,最大隔离程度但系统复杂度高。混合模式可以在多个层次应用不同的多租户模式。例如数据库独立、应用层共享等。服务化模式将服务按功能拆分,不同服务可以采用不同的多租户实现。二级划分模式在数
2023-07-18 16:06:44
497
转载 PC客户端(CS架构)如何实现抓包
针对PC客户端(C/S架构)的渗透测试，相比于B/S架构，它所使用到的通讯协议有多种，如TCP、HTTP(S)、TDS等。C、设置代理规则，一般默认的规则Fiddler.exe [auto-created] 即可，如没有，需要手动创建。1、打开Fiddler->Tools->Options->HTTPS，然后全勾上，注意要选择“从所有进程”打开软件，依次选择，配置文件-->高级-->HTTP代理服务器-->启用HTTP代理服务器支持。目标主机：我们本地的Fiddler设置的代理，可以任意。
2023-05-10 16:18:11
1928
转载 TCC分布式事务解决方案原理
需要注意的是第二阶段 confirm 或 cancel 操作本身也是满足最终一致性的过程，在调用 confirm 或 cancel 的时候也可能因为某种原因（比如网络）导致调用失败，所以需要事务协调者支持重试的能力，同时这也就要求 confirm 和 cancel 操作具有幂等性。涉及从多个分账方(商家1收益户，商家2收益户，商家3收益户，平台手续费账户)扣款，这些账户分布在不同数据库，系统微服务化后，内部可能需要调用多个服务并操作多个数据库实现，服务调用的分布式事务问题变的非常突出。中分布式事务问题呢？
2023-04-24 18:19:58
139
转载 【算法】一致性哈希算法原理详解
一致性哈希算法也是使用取模的方法，但是取模算法是对服务器的数量进行取模，而一致性哈希算法是对 2^32 取模，具体步骤如下：步骤一：一致性哈希算法将整个哈希值空间按照顺时针方向组织成一个虚拟的圆环，称为 Hash 环；步骤二：接着将各个服务器使用 Hash 函数进行哈希，具体可以选择服务器的IP或主机名作为关键字进行哈希，从而确定每台机器在哈希环上的位置。
2023-03-17 14:05:20
165
转载 【数据安全】数据脱敏解决方案
大数据时代的到来，颠覆了传统业态的运作模式，激发出新的生产潜能。数据成为重要的生产要素，是信息的载体，数据间的流动也潜藏着更高阶维度的价值信息。对于数据控制者和数据处理者而言，如何最大化数据流动的价值，是数据挖掘的初衷和意义。然而， 一系列信息泄露事件的曝光，使得数据安全越来越受到广泛的关注。所谓的数据脱敏，是指在不影响数据分析结果的准确性前提下，对原始数据中的敏感字段进行处理，从而降低数据敏感度和减少个人隐私风险的技术措施。具体效果上，主要是去标识化和匿名化。企业内部常见的数据脱敏场景主要包括数据报告脱敏
2023-03-13 11:28:23
2610
原创 javaweb项目如何进行限流
随着微服务的流行，服务和服务之间的依赖越来越强，调用关系越来越复杂，服务和服务之间的稳定性越来越重要。在遇到突发的请求量激增，恶意的用户访问，亦或请求频率过高给下游服务带来较大压力时，我们常常需要通过缓存、限流、熔断降级、负载均衡等多种方式保证服务的稳定性。
2023-03-10 11:34:56
780
转载 【图形设计】数据流图（DFD）简介
数据流程图是流程图的众多分类之一，使用特定图形符号反应信息在系统中的流动、处理和存储情况，将各项逻辑信息流及功能数据化，使其变得直观形象，方便设计人员对业务的具体流程进行设计，从中分析数据流程的结构并加以改进。由于流程图的分类较多，有流程图、实体关系、电路等，而每个人常用的分类也存在差异，迅捷画图的流程图图形工具栏并不会默认过多分类。数据流程图常用于报告、调查、设计等诸多方面，方便理清具体的流程顺序，将复杂的内容图示化，使流程线索与思路一目了然，便于理解。通过迅捷画图创建空白流程图或套用流程图模板；
2023-03-08 11:15:09
10820
1
转载 【图形设计】数据流程图和业务流程图有什么区别与联系
数据流程图和业务流程图都是流程图的其中一种分类，也都是常见的流程图类型。两者都是借助特定图形符号加上对应文字注释并利用流程线将内容连接起来组成对应流程图的图示，然而数据流程图和业务流程图有什么区别与联系呢？
2023-03-08 10:57:24
1254
转载 【图形设计】手把手教会绘制思维导图
思维导图也称心智图，可以简单而又有效的表达发散性思维，将枯燥的文字信息转化成易于理解的图画，是一种实用的效率工具。不管在工作、学习还是生活中都能广泛运用，例如读书笔记、日程规划、知识归纳等等都可以用到思维导图。绘制思维导图时通常会讲究简单和整洁，过于繁杂的内容反而会难分主次导致内容上不知所云，下面给大家分享思维导图简单画法，一起来看看吧。
2023-03-08 10:46:44
311
转载 【图形设计】流程图和泳道图案例分享，教你用图示梳理流程思路
流程图：流程图是一种用特定图形符号加上文字说明表示算法思路或流程思路的一种图示。泳道图：泳道图也称跨职能流程图，由多条“泳道”框架和对应流程内容组成。相比之下，流程图重点说明事件的具体流程顺序；泳道图则在流程图的基础上进行绘制，通过框架重点呈现事件流程对应的职能群体。
2023-03-08 10:43:36
3710
转载 【图形设计】什么是组织架构图？如何画组织架构图
什么是组织架构图？组织架构图即用于呈现组织构架的图示，通常也可以称为组织结构图，是一种用于直观反映群体关系内组织构架的图表。
2023-03-08 10:42:05
989
转载 【图形设计】用例图这样画，3步让你做需求分析有理有据
用例，是 UML 中用来捕获功能性需求的一种方法，它从不同视角，描述不同角色用系统/产品做什么事，即什么人做什么事。一个用例，就是参与者为完成某个特定目标的一系列活动或功能的集合。用例图，由参与者、用例、边界、关联构成，写用例表，更完整。用例图，常见类型有业务用例图和系统用例图。
2023-03-03 14:24:10
5752
转载 【图形设计】手把手教你画活动图，再无难搞的流程分析
编辑导语：在工作中，每当遇到复杂多变的业务，流程冗长时，可以借助活动图来分解流程。作者从四个方面分析如何画活动图，搞定流程分析。上次介绍了《》，这次聊聊活动图。也许你对活动图并不了解，不过，说起流程图，想必你不会陌生。你可以暂且把活动图，看成 UML 中的流程图。都知道，做产品要分析流程，可怎么把流程理清楚呢？当然不能凭空想象，而应该借助分析工具。每当遇到复杂多变的业务，面对冗长的流程，我总会拿出需求分析工具箱，从中挑选合适的工具。用得最多的，非活动图莫属。
2023-03-03 14:22:14
2027
转载 【图形设计】手把手教你如何画好时序图
信息量还是不少，我给你总结下。时序图，用来描述多个对象参与实现业务目标时，彼此之间按时间顺序进行交互的过程。常见的应用场景，是在支付领域。用好时序图，能帮我们，搞清楚业务规则、系统逻辑，提高工作效率。
2023-03-03 14:07:25
7431
转载 【算法】深入浅出理解分布式一致性Paxos算法
Paxos算法是Lamport宗师提出的一种基于消息传递的分布式一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一。本文的目的就是带领大家深入浅出理解Paxos算法，理解它的执行流程，然后通过一个例子来了解Paxos算法在分布式系统中起到的作用。如果有能力的同学可以直接拜读原文。
2022-11-22 17:53:36
148
原创 【Linux】ss命令详解
ss 是 Socket Statistics 的缩写。ss 命令可以用来获取 socket 统计信息，它显示的内容和 netstat 类似。但 ss 的优势在于它能够显示更多更详细的有关 TCP 和连接状态的信息，而且比 netstat 更快。当服务器的 socket 连接数量变得非常大时，无论是使用 netstat 命令还是直接 cat /proc/net/tcp，执行速度都会很慢。ss 命令利用到了 TCP 协...
2022-10-13 17:54:58
3709
翻译 【Selenium】WebDriverPool让动态爬虫变得更简单高效稳定
【Selenium】WebDriverPool让动态爬虫变得更简单高效稳定。
2022-09-09 14:08:14
838
转载 【Kafka】Kafka的Rebalance机制可能造成的影响及解决方案
一、kafka的rebalance机制在Kafka中，当有新消费者加入或者订阅的Topic数发生变化时，会触发Rebalance(再均衡：在同一个消费者组当中，分区的所有权从一个消费者转移到另外一个消费者)机制，Rebalance顾名思义就是重新均衡消费者消费。Rebalance的过程如下：第一步：所有消费成员都向Coordinator发送请求，请求入Consumer Group。一旦所有成员都发送了请求，Coordinator会从中选择一个Consumer担任Leader的角色，并把组成员信息以及订阅.
2022-05-25 17:42:43
3583
1
转载 【kafka】kafka key的作用一探究竟，详解Kafka生产者和消费者的工作原理
主题和日志对于每个主题，Kafka群集都会维护一个分区日志，如下所示：每个分区（Partition）都是有序的(所以每一个Partition内部都是有序的)，不变的记录序列，这些记录连续地附加到结构化的提交日志中。分区中的每个记录均分配有一个称为偏移的顺序ID号，该ID 唯一地标识分区中的每个记录。每个消费者保留的唯一元数据是该消费者在日志中的偏移量或位置。此偏移量由使用者控制：通常，使用者在读取记录时会线性地推进其偏移量，但实际上，由于位置是由使用者控制的，因此它可以按喜欢的任何顺序使用记录。例如，使用者
2022-05-25 17:40:46
9007
原创 如何实现高并发系统
一、设计1.服务器配置指标cpu/内存/磁盘IO/网络带宽cpu计算型应用，将cpu适当调大网络带宽指标配置例如：带宽10M数据传输：10k传输速度：10*1024/10=1024 （1024/s）2.数据库配置mysql：分库分表+主从+索引redis：哨兵集群+主从+分片kafka：限流+key(保序策略)+异步分流+分区&消费者数量调优mongo：分片+索引3.应用程序优化线程池调优二、压测1.压测前准备（压测场景，目标及数据量计算）2.压测方案数
2022-05-20 11:34:57
579
原创 【Jmeter】Jmeter分布式集群环境搭建
一 环境准备测试机器：3台linux 一台windowslinux10.163.10.16410.163.10.16510.163.10.166windows10.163.10.132机器环境：jdk，jmeter二 修改jmeter.properties配置remote_hosts=10.163.10.164,10.163.10.165,10.163.10.166,10.163.10.132三 启动jmeter-server四 验证结果...
2022-03-31 17:14:15
1506
原创 【Mysql】基于tkmapper实现Mysql主从模式
1.实现原理（核心）动态切换数据源（实现AbstractRoutingDataSource类基于本地副本动态切换数据源）上述动态切换数据源时机，，最好的时机就是拦截mybatis的操作，写走主库读走从库（此处要谈从库读性能，有兴趣可了解下clickhouse）2.实现（此处着重描述动态数据源切换实现）其他配置可参考【shardingjdbc&Mysql】基于springboot+shardingjdbc+tkmapper实现mysql分库分表DynamicDataSource.jav
2022-03-11 16:58:00
612
原创 【shardingjdbc&Mysql】基于springboot+shardingjdbc+tkmapper实现mysql分库分表
1.实现原理（核心）1.分库原则2.分表原则3.动态切换数据源2.实现（配置及依赖就不过多描述了）注意事项：集成tkmapper分表时，table注解的名字命名，别指定具体表明，而是知道shardingjdbc指定的logicTable名字2.1.数据源配置ShardingTestDataSourceConfiguration.javaimport com.alibaba.druid.pool.DruidDataSource;import com.alibaba.druid.sprin
2022-03-11 16:41:30
1065
原创 【Mysql&clickhouse】Mysql增量同步数据到clickhouse
实现原理基于datax同步功能，datax-web增量功能，clickhouse的ReplacingMergeTree分区合并功能实现增量同步（包含单条数据的修改后同步）前置条件datax没有clickhousewriter插件，需要下载插件并反正plugin的writer目录下clickhousewriter插件下载（为了方便下载，已上传至csdn）实现方案1.基于datax_web的增量功能时间戳参数-DlastTime=(%s-60*5) -DcurrentTime=’%s’
2022-03-11 16:14:51
2764
6
原创 【clickhouse】clickhouse搭建教程
部署教程http://blog.cxiangnet.cn/2020/01/09/clickhouse%E6%90%AD%E5%BB%BA/日志路径/var/log/clickhouse-server配置文件路径/etc/clickhouse-server常用命令重启服务systemctl restart clickhouse-server.service查看启动状态systemctl status clickhouse-server.service注意事项1.运行客户端工具通过812
2022-03-11 15:58:22
857
原创 【DataX】DataX和DataXWeb环境搭建
安装DataXhttps://github.com/alibaba/DataX/blob/master/userGuid.md注意：datax程序会对下述两个文件目录扫描，干掉下面两个文件夹下面的所有非文件夹的文件干掉datax/plugin/reader下的所有._文件干掉datax/plugin/writer下的所有._文件安装DataX/webhttps://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-w
2022-03-11 15:51:40
549
原创 【Mysql】Mysql开启ssl协议及Java客户端配置搭建教程
1. 安装openssl2.生成证书mysql_ssl_rsa_setup --datadir=/data/database/mysqlca-key.pem # CA 私钥ca.pem # 自签的CA证书，客户端连接也需要提供client-cert.pem # 客户端连接服务端需要提供的证书文件client-key.pem #客户端连接服务端需要提供的私钥文件private_key.pem #
2022-03-08 10:32:20
5885
深入理解计算机系统
2017-10-11
微信支付宝扫码demo
2017-09-21
java发送邮件
2017-09-20
微信支付宝扫码支付
2017-09-20
qq微信分享
2017-09-02
springwebflux高並发场景性能要比springmvc好?
2019-12-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人