开发手册
文章平均质量分 69
开发必备
phil002
这个作者很懒,什么都没留下…
展开
-
千万级并发场景如何进行数据统计(Doris)
千万级并发场景如何进行数据统计(Doris)原创 2023-08-04 15:43:46 · 692 阅读 · 0 评论 -
如何实现多租户应用场景
架构设计方案独立数据库模式每个租户一个单独的数据库,完全隔离,安全性高,但不易扩展。共享数据库共享模式所有租户共享数据库,使用租户ID字段来区分数据,更易扩展,但隔离性差。共享数据库独立模式共享数据库 but 每个租户一个schema,平衡了隔离性和扩展性。独立部署模式每个租户一个完全独立的应用实例,最大隔离程度但系统复杂度高。混合模式可以在多个层次应用不同的多租户模式。例如数据库独立、应用层共享等。服务化模式将服务按功能拆分,不同服务可以采用不同的多租户实现。二级划分模式在数原创 2023-07-18 16:06:44 · 474 阅读 · 0 评论 -
PC客户端(CS架构)如何实现抓包
针对PC客户端(C/S架构)的渗透测试,相比于B/S架构,它所使用到的通讯协议有多种,如TCP、HTTP(S)、TDS等。C、设置代理规则,一般默认的规则Fiddler.exe [auto-created] 即可,如没有,需要手动创建。1、打开Fiddler->Tools->Options->HTTPS,然后全勾上,注意要选择“从所有进程”打开软件,依次选择,配置文件-->高级-->HTTP代理服务器-->启用HTTP代理服务器支持。目标主机:我们本地的Fiddler设置的代理,可以任意。转载 2023-05-10 16:18:11 · 1889 阅读 · 0 评论 -
TCC分布式事务解决方案原理
需要注意的是第二阶段 confirm 或 cancel 操作本身也是满足最终一致性的过程,在调用 confirm 或 cancel 的时候也可能因为某种原因(比如网络)导致调用失败,所以需要事务协调者支持重试的能力,同时这也就要求 confirm 和 cancel 操作具有幂等性。涉及从多个分账方(商家1收益户,商家2收益户,商家3收益户,平台手续费账户)扣款,这些账户分布在不同数据库,系统微服务化后,内部可能需要调用多个服务并操作多个数据库实现,服务调用的分布式事务问题变的非常突出。中分布式事务问题呢?转载 2023-04-24 18:19:58 · 126 阅读 · 0 评论 -
【算法】一致性哈希算法原理详解
一致性哈希算法也是使用取模的方法,但是取模算法是对服务器的数量进行取模,而一致性哈希算法是对 2^32 取模,具体步骤如下:步骤一:一致性哈希算法将整个哈希值空间按照顺时针方向组织成一个虚拟的圆环,称为 Hash 环;步骤二:接着将各个服务器使用 Hash 函数进行哈希,具体可以选择服务器的IP或主机名作为关键字进行哈希,从而确定每台机器在哈希环上的位置。转载 2023-03-17 14:05:20 · 156 阅读 · 0 评论 -
【数据安全】数据脱敏解决方案
大数据时代的到来,颠覆了传统业态的运作模式,激发出新的生产潜能。数据成为重要的生产要素,是信息的载体,数据间的流动也潜藏着更高阶维度的价值信息。对于数据控制者和数据处理者而言,如何最大化数据流动的价值,是数据挖掘的初衷和意义。然而, 一系列信息泄露事件的曝光,使得数据安全越来越受到广泛的关注。所谓的数据脱敏,是指在不影响数据分析结果的准确性前提下,对原始数据中的敏感字段进行处理,从而降低数据敏感度和减少个人隐私风险的技术措施。具体效果上,主要是去标识化和匿名化。企业内部常见的数据脱敏场景主要包括数据报告脱敏转载 2023-03-13 11:28:23 · 2582 阅读 · 0 评论 -
javaweb项目如何进行限流
随着微服务的流行,服务和服务之间的依赖越来越强,调用关系越来越复杂,服务和服务之间的稳定性越来越重要。在遇到突发的请求量激增,恶意的用户访问,亦或请求频率过高给下游服务带来较大压力时,我们常常需要通过缓存、限流、熔断降级、负载均衡等多种方式保证服务的稳定性。原创 2023-03-10 11:34:56 · 767 阅读 · 0 评论 -
一个TCP连接可以发送多少个HTTP请求
一个TCP连接可以发送多少个HTTP请求转载 2023-01-13 11:47:15 · 177 阅读 · 0 评论 -
【算法】深入浅出理解分布式一致性Paxos算法
Paxos算法是Lamport宗师提出的一种基于消息传递的分布式一致性算法,是目前公认的解决分布式一致性问题最有效的算法之一。本文的目的就是带领大家深入浅出理解Paxos算法,理解它的执行流程,然后通过一个例子来了解Paxos算法在分布式系统中起到的作用。如果有能力的同学可以直接拜读原文。转载 2022-11-22 17:53:36 · 138 阅读 · 0 评论 -
从数据自动生成正则表达式(附源码)
直接根据数据动态生成正则,还是很棒的转载 2022-10-12 11:28:07 · 2322 阅读 · 0 评论 -
如何实现高并发系统
一、设计1.服务器配置指标cpu/内存/磁盘IO/网络带宽cpu计算型应用,将cpu适当调大网络带宽指标配置例如:带宽10M数据传输:10k传输速度:10*1024/10=1024 (1024/s)2.数据库配置mysql:分库分表+主从+索引redis:哨兵集群+主从+分片kafka:限流+key(保序策略)+异步分流+分区&消费者数量调优mongo:分片+索引3.应用程序优化线程池调优二、压测1.压测前准备(压测场景,目标及数据量计算)2.压测方案数原创 2022-05-20 11:34:57 · 573 阅读 · 0 评论 -
【Windows】windows cmd杀死指定端口进程
netstat -aon|findstr "8282"taskkill /pid 16168 -t -f原创 2021-09-22 17:22:00 · 789 阅读 · 0 评论 -
【SkyWalking】SkyWalking 分布式追踪系统
随着微服务架构的流行,一些微服务架构下的问题也会越来越突出,比如一个请求会涉及多个服务,而服务本身可能也会依赖其他服务,整个请求路径就构成了一个网状的调用链,而在整个调用链中一旦某个节点发生异常,整个调用链的稳定性就会受到影响,所以会深深的感受到 “银弹” 这个词是不存在的,每种架构都有其优缺点 。service map面对以上情况, 我们就需要一些可以帮助理解系统行为、用于分析性能问题的工具,以便发生故障的时候,能够快速定位和解决问题,这时候 APM(应用性能管理)工具就该闪亮登场了。目转载 2021-08-17 23:17:42 · 497 阅读 · 0 评论 -
大型分布式网站术语分析
https://www.oschina.net/question/3665510_2266430转载 2021-08-17 23:17:16 · 191 阅读 · 0 评论 -
【Idea】Idea配置JVM参数
配置入口help–>edit custom vm options配置参数参数详解-Xms768m:设置JVM初始堆内存为768m。此值可以设置与-Xmx相同,以避免每次垃圾回收完成后JVM重新分配内存。-Xmx768m:设置JVM最大堆内存为768m。-Xss128k:设置每个线程的栈大小。JDK5.0以后每个线程栈大小为1M,之前每个线程栈大小为256K。应当根据应用的线程所需内存大小进行调整。在相同物理内存下,减小这个值能生成更多的线程。但是操作系统对一个进程内的线程数还是有限制原创 2021-08-15 15:47:27 · 3290 阅读 · 0 评论 -
【Http】常用的Http请求头与响应头
常用的HTTP请求头与响应头HTTP消息头是指,在超文本传输协议( Hypertext Transfer Protocol ,HTTP)的请求和响应消息中,协议头部分的那些组件。HTTP消息头用来准确描...转载 2021-08-11 11:23:16 · 1442 阅读 · 0 评论 -
【Idea】Idea中Java模板定义
IDEA JAVA模板定义1、Settings->File and Code Templates2、Settings->File and Code Templates3、新建java代码时,填写类注释到弹出的DESCRIPTION框中IDEA JAVA模板定义1、Settings-...转载 2021-08-11 11:22:08 · 1275 阅读 · 0 评论 -
【Idea】Idea中使用Database管理工具
说个冷门的,用IDEA操作数据库。可能大部分不知道,IDEA是自带数据库管理工具的,类似于一个小型Navicat。具体打开方式是先打开Database视图。然后点击+号,选择一个数据库,这里我用MySQL举例子。然后需要填上Host、User、Password和Database。最后还需要选择一个数据库驱动,如果你的Mysql是5.x版本以上的,那你应该用MySQL for 5.1驱动。填写完之后点下Test Connection,显示成功就表示可以了。.翻译 2021-08-10 23:41:25 · 8547 阅读 · 7 评论 -
【RegExp】正则的正向预查和反向引用
参考文章正则的正向预查和反向引用正向预查前瞻:exp1(?=exp2) 查找exp2前面的exp1后顾:(?<=exp2)exp1 查找exp2后面的exp1负前瞻:exp1(?!exp2) 查找后面不是exp2的exp1负后顾:(?<!=exp2)exp1 查找前面不是exp2的exp1反向引用捕获组捕获到的内容在正则表达式内部进行引用,则为反向引用/(ab...原创 2021-08-10 23:38:02 · 926 阅读 · 0 评论 -
【Idea】Idea常用插件
● Free MyBatis plugin● Grep Console● Lombok● GsonFormat● MyBatis log Plugin● Markdown Navigator● GenerateAllSetter原创 2020-03-27 09:57:21 · 1555 阅读 · 2 评论 -
【SecureCRT】SecureCRT端口转发功能
总共有三台机器:A是办公网络的windows主机,B是一台linux堡垒机(114.144.xxx.xx),C是内网生产环境一台linux机器(192.168.1.6),A只能访问B但A不能访问C,B可以访问到C,那怎样才可以使A机ssh连接到C机呢?每次都要先登陆堡垒机,然后在堡垒机上通过SSH的方式登陆至内网服务器进行操作是一件特别麻烦的事。端口转发的意思是,将所有发送至B:port1的请求全部转发至C:port2 1.首先配置至堡垒机(114.144.xxx.xx:...转载 2021-08-11 11:25:28 · 1269 阅读 · 0 评论 -
开发常用工具
redis客户端-RedisDesktopManager远程终端客户端-MobaXterm抓包工具-Fiddler数据库表设计工具-PowerDesigner开发工具-IntelliJ IDEA文件快速搜索工具-Search Everything文件比较工具-Beyond Comparemongodb客户端-robo3t屏幕取色工具-GetColor............原创 2020-03-27 13:18:50 · 1297 阅读 · 1 评论 -
计算机网路
1.基本概念划分OIS的七层协议:应用层、表示层、会话层、运输层、网络层、数据链路层、物理层。OIS的五层协议:应用层、运输层、网络层、数据链路层、物理层。2.第一章 物理层特性:机械特性、电气特性、功能特性、过程特性。 数据通信系统:源系统(或发送端、发送方)、传输系统(或传输网络)和目的系统(或接受端、接受方)源系统:源点:源点设备产生要传输的数据...原创 2021-05-03 15:54:58 · 606 阅读 · 1 评论 -
深入理解并发/并行,阻塞/非阻塞,同步/异步
1. 阻塞,非阻塞首先,阻塞这个词来自操作系统的线程/进程的状态模型中,如下图:一个线程/进程经历的5个状态,创建,就绪,运行,阻塞,终止。各个状态的转换条件如上图,其中有个阻塞状态,就是说当线程中调用某个函数,需要IO请求,或者暂时得不到竞争资源的,操作系统会把该线程阻塞起来,避免浪费CPU资源,等到得到了资源,再变成就绪状态,等待CPU调度运行。 阻塞调用是指调用结果返...原创 2021-05-03 15:50:28 · 438 阅读 · 0 评论