wormtown的博客

原创 数据仓库模型规范

一、数据模型架构原则1.数仓分层原则数仓分层既要保证数据层的稳定，又要屏蔽对下游的影响，并且要避免链路过长。数仓分层总结下来就是：不能为了分层而分层，没有最好的，只有最适合的。分层是以解决当前业务快速的数据支撑为目的，为未来抽象出共性的框架并能够赋能给其他业务线，同时为业务的发展提供稳定的、准确的数据支撑，并能够按照已有的模型为新业务发展提供方向，也就是数据的驱动和赋能。一个好的数据分层架构，会带来以下好处：1）清晰的数据结构；2）数据血缘追踪；3）减少重复开发；4）数据关系

转载 spark解剖--master、worker、driver、executor

master，worker是物理节点，守护进程；dirver，executor是执行进程；

原创 spark解剖--DAGScheduler、TaskScheduler

原创 access_token，refresh_token的关系

问：为啥有access_token还要有refresh_token答：因为要兼顾安全性和用户体验，access_token设置超时时间，保证安全性，用refresh_token保证用户体验。问：什么时候会用refresh_token去刷新access_token答：refresh_token超时时间设置大于access_token，access_token失效后，refresh_token还没有失效，这时候用户活跃操作就会触发refresh_token刷新access_token，这样就可以保证

原创 Redis相关知识总结

1. 跳跃表：https://blog.csdn.net/weixin_41622183/article/details/911261552. 集群模式：3. 多路复用：

原创 红黑树学习

红黑树插入节点变换矩阵

原创 JUC导图

JUC的核心：Locks;Locks的核心概念：AQS(抽象队列同步器)；

原创 linux安装nginx

安装依赖 yum install gcc yum install pcre-devel yum install zlib zlib-devel yum install openssl openssl-devel //一键安装上面四个依赖 yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel 下载nginx的tar包 //创建一个文件夹 cd /usr/local mkdir nginx cd ngi

原创 JVM排障

jstack堆栈快照：获取线程pid: top -Hp {pid}转换16进制：printf '%x\n' {cpid}jstack快照：jstack -l {pid}|grep cpid -A 100gc情况： jstat -gc {pid} {时间间隔} {打印次数}例：jstat -gc 4827 1000 5S0C：第一个Survivor区的大小（KB）S1C：第二个Survivor区的大小（KB）S0U：第一个Survivor区的使用大小（KB）S1U：第二个S

原创 roc曲线和ks曲线

当我们训练好一个模型后，整个建模过程并没有结束，还有一个很重要的环节，就是模型评估，就像各种考试一样，要有个分数指标，来评估考生学习掌握知识的熟练程度，总不能说，我学习过程很努力，这个考试应该给我100分，这样别人会笑话的。模型种类、训练方式千千万万，但是评估方式还是相对比较固定的，今天我们就来学习下常用的模型评估方式和评估指标。混淆矩阵混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表

原创 Spring boot整合Drools、flowable决策引擎解决方案

一、Drools：DROOLS（JBOSS RULES ）具有一个易于访问企业策略、易于调整以及易于管理的开源业务规则引擎，符合业内标准，速度快、效率高。业务分析师或审核人员可以利用它轻松查看业务规则，从而检验是否已编码的规则执行了所需的业务规则。官方文档：https://docs.jboss.org/drools/release/6.5.0.Final/drools-docs/html_single/index.html二、Spring 整合Drools示例：项目依赖实体类规

转载 java反射性能优化

https://www.jianshu.com/p/93898afeb358

原创 hbase org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 报错处理

hbase安装完成后，使用hbase shell进入命令行模式，输入list开始报错org.apache.hadoop.hbase.PleaseHoldException: Master is initializing ，出这个问题的原因有很多，最好的办法是去logs文件夹下取找log看一下一切就明了了，我的问题出在集群时间不匹配，超过了配置的最大超时时间，把系统时间统一一下，或者直接把配

原创 美橙网部署php项目步骤

1.将dow文件夹下所有内容由ftp上传至虚拟主机的wwwroot目录下；2.领取美橙免费赠送的100m mysql数据库，并将数据库内容上传；3.将买好的域名绑定至主机，并在主机管理页面绑定域名；4.访问网站报错，在logfile目录下查看日志，错误出在THINKPHP框架版本问题上，在主机管理页面的高级管理下配置PHP版本，由5.2换为5.6；5.访问网站依然会报错，查找原因，

转载 java的HashCode方法

有许多人学了很长时间的Java，但一直不明白hashCode方法的作用， 我来解释一下吧。首先，想要明白hashCode的作用，你必须要先知道Java中的集合。　　 总的来说，Java中的集合（Collection）有两类，一类是List，再有一类是Set。 你知道它们的区别吗？前者集合内的元素是有序的，元素可以重复；后者元素无序，但元素不可重复。 那么这里就有一个比较严重的问题了

转载 servlet生命周期

servlet生命周期：1.初始化阶段：会调用init()方法2.响应用户请求阶段：会调用service()方法3.终止阶段：会调用destory()方法servlet初始化阶段：下列时刻容器会装载servlet1.当一个servlet的配置文件中标签下配置了1，servlet容器会首先加载这个servlet；注意：在web.xml文件中，某些Servlet