冻城-CSDN博客

原创浅谈维度建模

前言：本人作为BI方向相关的数据系统后端开发，虽然不是从事具体的数仓方面的工作，但是对维度建模过程有个大致了解，可加深对于系统现有的架构设计的理解（比如数据模型构建，指标库的作用），能够对数据的扭转过程有个清晰的认识，方便与数仓同学进行合作，故小记一下。Inmon vs KimballInmon自顶向下，即从数据源到数据仓库再到数据集市的（数据仓库->数据集市）一种瀑布流开发方法数据源往往是异构的，比如从自行定义的爬虫数据就是较为典型的一种，数据源是根据最终目标自行定制的不强调事实表和维度表

2022-03-12 16:40:24 2924

原创线程安全问题

前言：好久没更文啦，最近打算把前面总结的一些文章发出来～之前在一次开发中进行时间格式化，遇到了线程安全问题，遂小结一下SimpleDateFormat现象SimpleDateFormat类图该图片摘自网络，侵删！线程不安全因素多个线程同时调用parse时，可能发生：返回数据又被clear清空的对象设置好的cal对象又被其它线程修改解决方式创建局部变量（缺点：每次使用都需 new一个对象，开销大）加锁（缺点：高并发情况下性能较差，多个线程需要竞争锁

2022-03-12 11:31:51 471

原创 Redis基础及原理详解

redis基础及原理详解前言：以下是最近学习redis的一些总结，重点是跟着b站up主狂神说的视频学习的，对于初学和简单进阶的同学可以看一下他的视频，总体而言是很不错的，当然想要进阶到高阶还需要自行深入，文中如有不当的地方欢迎批评指正，重在记录与学习，笔芯~~nosql概述演进历史单机mysqlMemcached(缓存)+Mysql+垂直拆分(读写分离)优化数据结构和索引->文件缓存(IO问题)->Memcached分库分表+水平拆分+MYSQL集群表锁，影响效率

2021-02-18 20:22:50 1011

原创 Elasticsearch原理浅析及常见使用

Elasticsearch原理浅析及常见操作前言初步整理了ES实操部分的学习笔记，原理部分一带而过，后续消化后再进行补充，文章如有不当，欢迎大佬们指教呀，笔芯~~简介特点分布式全文搜索引擎，基于Lucene进行封装倒排索引又叫反向索引，根据文章内容中的关键字建立索引Master-slave 架构，实现了数据的分片和备份集群，可扩展对比关系型数据库SolrElasticsearch基本概念索引（类比：mysql的库）类型（类比：mysql的表）文档（类比：mysql

2021-01-23 21:41:50 506 1

原创 Nginx介绍与原理浅析

Nginx介绍与原理浅析Nginx介绍Nginx是异步web服务器，可用作反向代理、负载均衡以及缓存服务器基本功能：Web服务器（常用）反向代理服务器（常用）邮件代理服务器（几乎不用）通用TCP / UDP代理服务器（四层调度器）特性：高性能、高并发模块化开发热部署、热更新内存低消耗配置、维护简单原理图：图片摘自网络，侵删正向代理与反向代理常用命令nginx -t （检查配置文件是否正确）nginx -V （查看编译选项）nginx （启动）Nginx核

2020-10-15 12:19:46 282

原创 Linux常见服务安装及配置

服务端常用服务安装及配置（持续更新）本文主要记录服务端常用服务的安装及基础配置，基于的操作系统为centos7，文章持续更新，稳重如有不当，欢迎批评指正服务安装及配置JDK到官网下载JDK安装包，或使用已有的jdk1.8安装包解压文件至/usr/local/javatar -zxf jdk-8u251-linux-x64.tar.gz -C /usr/local/java修改配置文件vim /etc/profile #在文件中追加如下内容JAVA_HOME=/usr/loca

2020-10-09 14:16:31 1978

原创 windows本地调试hdfs java api踩坑记录

Windows本地调试hdfs java api踩坑记录windows bugbug描述及原因hadoop主要基于linux编写，所以如果直接在windows上运行，会抛异常。解决方式下载并配置hadoop-winutils环境变量HADOOP_HOME=D:\hadoop-common-2.2.0-bin-masterPath=%HADOOP_HOME%\bin将hadoop-winutils的bin目录下的hadoop.dll复制到 C：\windows\system

2020-09-23 10:49:49 318

原创 shiro框架整合spring boot及登录身份认证源码分析

shro框架初识及登录身份验证源码的解析三大核心组件Subject(认证主体)需要认证的内容主体Principals （代表身份）:用户名、邮件、手机号码等Credentials（代表凭证）:密码，数字证书等SecurityManager(安全管理)Shiro 架构的核心与 Subject 交互的实际安全操作，由 SecurityManager 完成Realm(域)连接 Shiro 和具体应用的桥梁与安全数据交互时，Shiro 将会在一个或多个 Realm 中查

2020-09-07 11:16:10 284

原创 docker之入门及实践学习笔记

docker之入门及实践学习笔记前言在日常工作中，会遇到不少需要以docker镜像服务交付的需求，所以系统学习了一下docker，并在此记录了学习笔记，方便温故知新，同时也希望能帮助到对此感兴趣的人。本篇笔记是通过学习哔站一位叫遇见狂神说的up主的视频而总结的，在此由衷地感谢他，感兴趣的朋友可以关注一下课程地址概述基于go语言开发的开源项目。打包装箱，每个箱子是隔离的。关键：隔离机制，将服务器用到了极致devops(开发、运维)优点：应用更快的交付和部署便捷的升级和扩容简化系统运维

2020-08-25 16:18:26 475

原创 netty原理梳理及netty相关实例

netty之原理梳理及相关实例前言：netty之初学总结，主要是对netty原理的梳理及netty相关实例的整合。总结如下：一张图，一个项目。手动biu一下自己，好好学习，天天向上原理图这张原理图旨在提供一个netty的全局学习思路，需自行深入学习每个模块，作为底层框架的netty，想要很好的理解它，每个模块都值得深入研究哦。相关实例整合项目项目git地址本项目仅用于学习交流，其中如有不当之处欢迎指正。整个项目包括以下几个实例：BIO->NIO->NETTY过程演化对比实例(

2020-07-04 13:12:27 217

原创微信支付之扫码支付与小程序支付

微信支付前言：最近的需求中，频繁出现微信支付功能的开发，于是研读了微信官方开发文档以及相关代码做了以下总结，并记录在此，以备不时之需。如有不足之处，欢迎批评指正。微信官方开发文档扫码支付模式二：本文着重介绍扫码支付的模式二，其他情况以此类推，主要区别在统一下单前的步骤。商户后台系统先调用微信支付的统一下单接口。微信后台系统返回链接参数code_url。商户后台系统将code_url值生成二维码图片。用户使用微信客户端扫码后发起支付。注意：code_url有效期为2小时，过期后扫码不能再

2020-06-25 16:41:56 2940 1

原创 shell之数据库操作

shell之数据库操作前言：最近的一个任务：shell中执行sql语句并取出执行结果进行简单的逻辑处理。以下记录一下步骤及过程中遇到的问题。shell脚本内容介绍读取入参para = $1 #参数1获取相关时间nowday=`date +%Y%m%d` #当天时间数据源配置source_mysql_host=XXX.XXX.XXX.XXX #数据库地址source_mysql_database=test #数据库名称source_mysql_user=roo

2020-05-30 13:08:39 717 1

swhuan007的博客