aaaassss602的博客

原创 jdbc错误：Communications link failure

jdbc常见问题排查及解决

原创 解决GSON子类与父类属性重复导致的序列化问题：declares multiple JSON fields

方案1、通过GSON提供的策略接口，忽略子类在父类中存在的字段，缺点是会导致该属性无法被序列化。public class SuperclassExclusionStrategy implements ExclusionStrategy { public boolean shouldSkipClass(Class<?> arg0) { return false; } public boolean shouldSkipField(FieldAttribu

原创 代码Review CheckList

通用检查目录、结构是否合理，是否满足高内聚低耦合？是否符合代码分层？是否遵循经典的设计原则和设计思想？设计模式是否得当？是否存在过度设计？代码是否易扩展？新增功能是否容易实现？代码是否可以复用？是否复用了已有的项目代码或类库？是否有重复造轮子？代码是否易测试？单元测试是否覆盖各种正常或异常情况？代码是否符合编码规范？安全规范？检查工具关注点关注方法命名、入参及返回（NPE）关注控制语句关注日志打印、异常处理关注并发处理第三方依赖成熟稳定可信赖开源协议

原创 设计评审CheckList

一、功能功能基本流的完整度设计逻辑合理度变更的影响范围兼容性异常流的完整度超时熔断失败处理补偿机制可测性及测试成本重复造车轮对外API兼容性多版本共存二、性能弹性伸缩耗时长的操作批量处理异步处理三、数据库表设计分库分表定期归档索引设计旧表增加索引，需要对该表所有索引进行评估大表的索引创建，要考虑执行时间唯一约束：旧有字段需提前校验字段设计冗余字段：需考虑数据一致性字段长度：冗余字段类型：不同表的相同字段是

原创 需求评审CheckList

一、可行性分析业务背景、价值成本与收益二、功能需求是否有原型图/交互图产品交互场景是否覆盖全，特别是修改、删除场景关联依赖产品&页面是否受影响历史数据怎么处理异常情况的处理方案是否有考虑校验规则是否提供产品的改动是否会影响现有用户的使用三、非功能性需求测试需求：主要针对一些没有页面，甚至只提供简单接口，如何方便测试验证，基于此开发的工具。兼容性新老数据的兼容上下游系统的兼容数据初始化性能QPS峰值，日调用量预估未来半年、一年相关指标安全

原创 软件开发流程和规范

背景去年换到了新部门，来了之后发现问题挺多，尤其是流程规范方面，早期做比较好（梳理部门文档时看到了很多以前写的规范），但随着这几年发展，现在基本趋近于无，整个开发过程，完全变成了靠人靠经验的管理过程，也成了现如今生产事故频发的重要因素。因此和部门leader多次沟通后，从文档、流程、规范下手，重新梳理了一版，重要的是构建起各个环节的checkpoint。前言遵守原则，除非遵守原则会带来危险每个原则都应当有充分的理由原则应该定期修订一、需求阶段1.1 需求评审评审前提前阅读需求文档及原型

原创 NodeJs发布SDK

官方站点： https://www.npmjs.com/步骤注册npm账号 (npm adduser | npm login)新版本发版需要修改package.json中的version，version版本号规则遵循https://semver.org/修改changelog.md文件执行npm publish (https://docs.npmjs.com/getting-started/publishing-npm-packages)...

原创 python发布SDK

官方站点：https://pypi.org帮助文档：https://packaging.python.org/en/latest/tutorials/packaging-projects/#source-distributions步骤1）在官方网站注册帐号2）按照详细说明文档，编写setup文件，包括setup.py / setup.cfg / README（支持markdown）等3）在项目目录执行python setup.py sdistpip install twinetw

原创 java发布SDK到MAVEN

地址官方站点：https://issues.sonatype.org帮助文档：http://central.sonatype.org/pages/ossrh-guide.html步骤在官方网站注册账号2）创建一个工单(Issues)3）Project：Community Support - Maven Central (MVNCENTRAL) ，Issue Type：New Project4）根据Java包的功能分别写上Summary、Description、Group Id、SCM url

原创 基于GitLab Merge Request机制的代码评审

Gitlab代码库设置在需要做merge request build的代码库增加一个用户jenkins_bot，权限建议设置成developer。用于build完成之后的回写。Jenkins Job 设置创建merge request build job并做如下设置：使用效果为设置好的代码库创建一个分支，做一些改动，然后提交一个merge request。等几分钟后，你的merge request build job会被自动触发运行，job运行完毕后，会自动在merge request里

原创 京东200亿数据基于clickhouse的秒级预估实现

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、表设计1.画像表和行为表分离2.画像&行为大宽表3.画像&行为大宽表 + 画像表二、数据库优化1.推送优化2.数据推送3.二级索引4.TTL列 TTL表 TTL删除分区三、遗留的问题前言业务背景是一个典型的电商场景，基于用户画像和用户行为的人群圈选，后续就可以进行人群的分析及打标等。提示：以下是本篇文章正文内容，下面案例可供参考一、表设计我们要查询的结果是去重后的用户ID，用户画像数据大概几亿

原创 tensorboard服务启动后只能本机访问，外部无法访问

问题今天帮算法配置tensorboard的域名时，遇到了很恶心的问题，本机启动后，通过curl localhost:6006，服务是正常的，但从其他服务器上访问却不通，因为用的是云主机，所以首先排查安全组策略安全组策略看了下安全组策略没有问题，然后怀疑是本机防火墙问题，排查本机防火墙。Centos防火墙 关闭防火墙：systemctl stop firewalld.service确认防火墙状态：firewall-cmd --state1、 技术笔记 2 遍2、CSDN 技术博客 3 篇

原创 Jackson序列化无限递归错误：Could not write JSON: Infinite recursion (StackOverflowError)

文章目录问题一、分析二、解决1.@JsonIgnore2.@JsonBackReference总结Jackson替换为fastjson排除Jackson依赖，增加fastjson依赖增加fastjson配置问题今天遇到个问题，返回个自定义的对象，Jsckson在对其序列化时抛了堆栈溢出。Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processin

原创 HBase脑图

原创 ClickHouse脑图

原创 clickhouse性能测试及与hive的性能对比

测试一数据库实例配置计算节点：节点规格: 8 核 32 GB ; 存储空间: 1000 GB ; 副本数: 2 ; 分片数: 1ZK节点：节点规格: 8 核 32 GB ; 存储空间: 300 GB ; 节点数目: 3测试表test_1（10个字段）：15652条，使用MergeTree作为表引擎test_2（28个字段）：1026820983条，使用MergeTree作为表引擎测试场景一：ClickHouse插入性能测试外部数据无序插入到ClickHouse：55000条/秒备

原创 Clickhouse基础

Clickhouse基础基础资料客户端工具安装（Centos 7.6）常用SQL语句杀掉慢SQL数据库引擎和表引擎基础资料基础资料官网都有，中文版，这里就不复制粘贴了，想了解自行前往：https://clickhouse.tech/docs/zh/。客户端工具安装（Centos 7.6）安装命令sudo yum install yum-utilssudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPGsudo yum-c