- 博客(81)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 安全风险管理
风险自主填报数量多，不作为系统风险高的依据。5、故障未主动发现扣分，故障转事件扣分。自主填报按完成时间开始算逾期时间。故障在应急群主动报备整改即使不扣分。自主填报、故障事件转录、统一排查。明确场景、影响、改进方案。4、提出风险、改进流程。提出风险加分，逾期扣分。业务类型、人数、金额。
2024-08-15 15:58:32
201
原创 windows 双网卡同时接入内外网
在公司使用wifi接入使用桌面云，但是公司wifi不能上外网，查资料不方便，通过手机同时接入外网。wireshark抓包发现大部分流量都走180.101.48.194 应该就是桌面云的链接。usb连手机到电脑，共享网络，这样桌面云流量还是走wifi。route print查看当前的路由表。
2024-05-07 21:20:32
251
原创 elastic job任务不执行
1、查zk namespace下的instance。3、查定时任务worker线程是不是卡在io上。2、查dd、quartz线程还在不在。
2023-05-22 23:42:39
1306
原创 dubbo参数校验&统一异常转response处理
这样之后发现普通的抛出异常可以catch，但是参数校验的异常直接catch不到，原因大概是默认的参数校验filter在异常处理filter之前就返回了。因此要自定义exceptionFilter取代自带的异常处理，在dubbo自带的基础上增加转换response的逻辑。在网上还看到可以覆盖filter 的，但是实测不行，会走到ExtensionLoader的判重逻辑里面，报。先读内部的，再读外部的。目标：能把参数校验异常、自定义异常转化为自定义的response结构。尝试第二种：全局异常处理放到最前面。
2023-03-16 16:58:12
1413
原创 flink学习
用户提交一个Flink程序时，会首先创建一个Client，该Client首先会对用户提交的Flink程序进行预处理，并提交到Flink集群。Master进程，Flink系统的协调者，它负责接收Flink Job及Job的管理和资源的协调，包括任务调度，检查点管理，失败恢复、调度组成Job的多个Task执行等。Client会将用户提交的Flink程序组装成一个JobGraph，并且是以JobGraph的形式提交的。实际负责执行计算的Worker，在其上执行Flink Job的一组Task。
2022-11-30 11:04:45
420
原创 javax.validationHV000030 异常
2）validation-api和hibernate-validator的版本不匹配，注解没有对应的Validator。比如：validation-api2.x已经收录了@NotEmpty，但hibernate-validator 5.x中还没有相应的Validator。参考：https://blog.csdn.net/gududedabai/article/details/107605723。1）注解与需要校验的数据类型不匹配。比如在Integer上用了@NotEmpty。
2022-11-04 15:19:13
1348
原创 web安全
1、接口越权2、sql注入3、命令注入、文件上传4、xml炸弹5、xss、csrf6、密码密钥配置明文7、配置加密、加密存储，加密算法需要达到安全要求7、日志打印明文密码、日志打印解密数据......
2022-07-12 16:11:00
1138
原创 git 使用
1、安装gitGit - DownloadsTortoise Git：Download – TortoiseGit – Windows Shell Interface to Git2、配置信息、ssh秘钥生成git config --global user.name "{工号}"git config --global user.email "{邮箱}" 生成ssh私钥公钥 （可以不设置密码，出现Enter passphrase时，直接回车跳过）ssh-keygen -t rsa -b 4096 -C {
2022-05-18 14:26:53
755
原创 aop使用的注意点
1. 使用类名引用，注入时报错jdk代理无法引用2. aop不生效，需要public方法，用bean引用调用。3. 继承时，不应该在父类做autowire，会重复初始化。
2022-05-05 19:58:47
672
原创 接口需要向前兼容，不兼容时开v2接口
不兼容升级接口，可能会导致:1、调用方不感知，导致未做适配2、调用方做了适配，但是版本上线节奏不一致，导致时间差中依然有问题3、调用方是端侧原生，发布后无法难以升级。不兼容时，应该新开接口，可以在path中添加v2区分，上线时，后端先做上线。此时前端升级与否都不会存在兼容性问题。等上线一个版本后，可以分析接口调用数据，判断是否老接口还存在调用量。判断是否要将老接口下线。*如果要缓存，也要注意缓存的兼容性...
2022-04-20 14:09:13
436
原创 语言码 地区码
在互联网产品中，涉及海外运营时，需要考虑全球化语言问题：1、一个物理机房站点可能需要服务多个国家。1）不同国家的数据是否需要在用户面隔离展示2）如果不隔离，不同国家的语言不一致，2、一个运营团队可能需要运营多个站点、或者多个国家。需要在前台可用筛选国家\语言，方便运营分工。3、一个国家可能有多个语言。国际标准国际地区码可用表示为：CN 中国TW 中国台湾国际标准语言码可用表示为：zh-tw 台湾繁体中文zh-hk 香港繁...
2022-03-31 17:13:49
448
原创 java Spring入口
ClassPathXmlApplicationContext context = new ClassPathXmlApplicationContext("classpath*:META-INF/spring/application-context.bean.xml");context.start();
2022-03-22 18:10:26
766
原创 ${}占位符解析
classpath中，有些xml中会使用${}做占位符需要把对应配置文件使用placeHolderConfigurer解析 <bean id="propertyPlaceholderConfigurer" class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer"> <property name="locations">
2022-03-22 18:09:45
374
原创 后端开发工具
本地工具：jdkeclipse、IdeaJSVN、GIT tortoisexShell、MobaterminalPostmanAnotherRedisDesktopManagernavicatstartuml、enterpriseArchitectOnenote、notepad++beyondCompareXmind中间件：redismysqlzkkafka
2022-03-16 11:37:47
6165
原创 mysql 表模型设计
主键、 bigint \varchar(32)时间 datetime普通的数值 int状态值 tinyInt文本内容 varchar
2022-03-13 14:56:45
1052
原创 IDEA 使用
快捷键查找找文件ctrl + shift + r找内容ctrl + h找使用 ctrl + 左键点击找继承 ctrl + t文件内查找ctrl + f导航把structure开在右边方便找函数回溯光标 alt+ 左右箭头上次编辑位置 ctrl +q设置书签ctrl + shift +数字，跳到书签ctrl +数字所有书签 shift+f11自动补全展示修改建议 alt + enter生成代码 alt + insert （右键）重构快
2022-03-10 17:23:21
287
原创 使用es 自定义function score做排序
如何初始化es客户端连接可以参考这个文章：【es笔记三】Java Low Level REST Client_西瓜游侠的博客-CSDN博客_restclientbuilderElasticSearch6.5.0 【Java客户端之REST Client】_weixin_33704234的博客-CSDN博客通过从文件中读取算分脚本以及参数，创建Script对象Map<String, Object> params = new HashMap<>();para...
2022-03-08 16:30:28
3565
原创 使用java 8语法进行开发
1. StreamList<Integer> numbers = Arrays.asList(3, 2, 2, 3, 7, 3, 5);// 获取对应的平方数List<Integer> squaresList = numbers.stream().map( i -> i*i).distinct().collect(Collectors.toList());2. Optional3. future4. 集合new ArrayList<Integ
2022-03-08 09:52:03
102
原创 对开发流程的一点思考
1、开发不允许偷偷修改代码、所有修改必须有需求单号或者问题单号，需求单问题单必须走到测试手中关闭，这样是为了让测试能感知到可能发生的问题，减少风险。2、版本发布前需要做开源认证，如果引用的风险版本的开源软件，需要升级到推荐版本，如果无安全版本，需要移除依赖。3、开发在需求开发时，要输出story，明确修改点，测试以此作为凭据。并且要输出核心流程用例，并完成自验证。...
2022-03-07 21:43:44
135
原创 软件开发的人员角色、需求分解、工作量评估
产品：提需求版本经理：负责规划分工、时间点、审视进度风险SE：负责给总体方案（部件间的调用关系）、评估工作量SCM：负责安全、隐私评估MDE：负责某个微服务部件，配合se细化方案、细化工作量、代码review合入开发人员：负责需求分析、代码开发部件测试：微服务粒度接口级测试解决方案测试：端到端验证、可能涉及多个微服务、端CIE: 负责每日构建流水线、打包脚本、版本归档现运维：负责生产环境部署、变更需求分解、工作量评估一般按接口、表、场景来拆分新增一个接口2
2022-03-07 21:17:38
1590
原创 Java获取服务器Ip
Enumeration<NetworkInterface> allNetInterfaces = null; try { allNetInterfaces = NetworkInterface.getNetworkInterfaces(); } catch (SocketException e) { LOG.error("get local ip failed.", e); ...
2022-03-04 15:20:12
3112
1
原创 mysql导出表为文件、导入表
导出为sql文件mysqldump -h {ip} -u {user}-p {pwd} --set-gtid-purged=off -t {tableName} > xxx.sql从sql文件导入mysql -u r{user}-p {pwd} < xxx.sql
2022-03-04 14:17:42
310
原创 微服务为什么要限流、熔断、如何做
为什么要做限流微服务某个接口请求量激增，如果不做限制，会引起：1、处理变慢，tps下降，并引起微服务上其他接口性能下降，开始恶性循环。2、资源（cpu、内存、连接数、线程数等）耗尽，整个微服务节点拒绝服务。限流怎么做限流一般在服务的提供方进行限流。针对不同场景，可以做：全局限流：保证服务器整体性能。单调用方限流：保证单调用方出现大量调用时，不影响其他调用方。单一接口限流：保证某个接口出现大量调用时，不影响服务的其他接口。接口参数限流：根据请求中的特征进行分组，典型场景如租户级限流
2022-02-24 16:44:44
1405
原创 使用structure101分析依赖
Structure101 – Software Architecture Development Environment (ADE)
2022-02-22 11:24:24
247
原创 linux磁盘分区、挂盘
使用df -h lsblk 看下分区情况。图中的 36.3G的物理分区挂载在 / 目录下还有一块89G 的lvm 分区: /dev/xvde 对应lv： /dev/datavg/homelv此时：想把/dev/datavg/homelv分开，执行lvremove /dev/datavg/homelv再执行vgremove datavg再执行 pvcreate /dev/xvdevgcreate sys /dev/xvde分...
2022-02-16 11:03:46
615
原创 redis缓存失效、竞争加载引发的性能问题
redis缓存失效时，众所周知，如果不做保护自己放任请求去并发重新加载缓存，会导致大量请求直接打到数据库上，即出现缓存击穿问题。项目组为了解决这个问题，使用了竞争获取锁刷新缓存的方式，应对缓存失效。比如A B两个请求到达，在redis进行锁竞争，获取锁的线程开始查表刷缓存。获取不到锁的线程则开始通过循环sleep的方式，查询缓存是否刷新完毕，如果循环等待时间超过一定1秒，就放弃。这样看起来很完美，实际上引起了Redis的性能问题生成环境中，发现redis 的请求延迟和请求量均在2小时左右周期
2022-01-25 16:29:21
910
原创 记录一次reactive模型接口问题
表现生产环境一百多台机器，某接口全面返回http错误码590。接口相关的业务功能不可用，且不能自己恢复，后紧急下线相关功能配置，重启后恢复。Bug引入微服务使用netty的reactive模式进行开发，请求返回体为completableFuture<XXResponse>。接口处理函数中，新建一个completableFucture，作为返回值。completableFuture中有代码实现判空不到位，导致抛空指针异常，导致无法走到complete(XXRespons
2022-01-11 20:27:22
647
原创 Java服务端开发知识总结
# Java服务端开发## 中间件### redis- redis的常用数据结构和应用场景有哪些？ - redis的数据结构 - String - list - 双端链表 - 压缩列表 - set - hash - zset - 底层跳表 skiplist - 数据结构存储 - https...
2021-12-27 20:52:30
931
原创 AG评论业务回顾（4）评论列表
评论列表接口是整个服务的核心能力，用户在打开应用详情页的时候会加载评论列表。主要的业务形态有：1、评论的顺序、以及滑动分页返回2、评论内容、点赞数、回复数、头像昵称、外显回复如何聚合3、评论列表支持按机型、评分筛选，并支持滑动分页返回...
2021-12-25 09:35:16
119
原创 AG评论业务回顾（3）发评论
用户在下载应用之后，可以发评论。通过唯一主键：appid+version+country+uid限制发表次数。通过一个字典树维持敏感词，对评论内容进行过滤，如果包含敏感词直接发表失败。这个操作是同步的，敏感词库的条数后来已经来到了几千条，存在内存里面不涉及IO，实际上性能还可以接受。评论请求还会起一个异步线程，调用安全服务做自动化审核，这个服务不在我们这边，里面大概做一些对ip、uid、内容文字等的识别，判断是否存在一些集聚的刷子黑产。入库的时候会写入es、mysql、Cassandra，刷
2021-12-24 17:33:46
795
原创 AG评论业务回顾（2）模型设计
评论表的设计：最初的设计中，使用mysql单表+历史表作为数仓，主键从外部产生，后期单表大小超过两千万，性能出现瓶颈。后期进行了一次重构，改为32张review表，主键使用雪花算法生成。使用应用Id%32作为分表号。评论Id中也冗余了分表号。这个设计后来发现还是出现数据倾斜，大表和小表的数据规模差距多达3倍左右。主要是一些头部应用比如王者，评论数量远超其他应用。这个后来也出现了性能问题， 在我们切换到高斯云库后，出现了索引失效，产生了明显性能问题，cpu负载极高。回复的数据量相对于评论较少，
2021-12-24 16:05:47
1074
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人