- 博客(12)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 count(字段) ,count(id) ,count(1) ,count(*) 性能对比 及分析
count(字段) ,count(id) ,count(1) ,count(*) 性能对比 及分析
2023-03-06 11:00:39
265
原创 线程池（ThreadPoolExecutor）
线程是操作系统进行资源分配和任务调度的最小单位，是计算机的宝贵资源。在程序开发中池化技术是一种不错的复用方式，例如线程池、连接池、内存池等。我们会预先创建好一些昂贵的对象放入池中，在使用的时候直接获取，使用之后归还，还会通过一些策略调整池中对象数量实现池的动态伸缩。
2022-09-12 11:49:22
1519
原创 HTTPS协议
浏览器和服务器在使用TLS通信时需要选择一组合适的加密组合，这个组合包含了用于不同场景的加密算法，基本形式是“密钥交换算法 + 签名算法 + 对称加密算法 + 摘要算法”
2022-08-13 22:07:29
1414
原创 网络安全的黄金法则
网络即是开放的也是私密的，开放在于网络让我们跨越了地域的限制可以随时随地共享信息，私密在于有些信息我们只想让想让看到的人看到
2022-08-12 20:35:58
1568
原创 利用cloudcanal做CDC(change data capture)
场景：在使用微服务架构的过程中遇到了一下几个问题：1、为了避免关联查询影响查询速度而做的不同业务域表之间的数据冗余如何同步？2、缓存中心redis，搜索中心elestic search中的数据如何与数据库保持同步？3、上游系统数据变化需要发送Mq消息，下游系统监听做相应的业务逻辑处理。这几个问题的本质都是数据同步，即一方的数据变化需要通知另一方。原始解决方案：我们原来的解决方案是如果需要通知下游就在业务代码里发送消息到消息队列，下游监听消息后再做处理：修改冗余字段、更新red
2022-05-30 00:36:25
567
原创 搭建hive
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
2022-05-23 18:45:00
1470
原创 quickBI嵌入自研系统
一、支持业务场景：参考连接：概述 - Quick BI - 阿里云支持的业务场景：1、嵌入分析：将分析结果以页面或卡片形式嵌入到业务系统中融为一体，进行交互式分析。2、数据对接（专业版）：可接入客户数据源，提供数据查询、分析服务。3、对接API：可接收系统的事件进行处理，执行资源管理任务。4、自定义组件平台：可基于组件SDK来创建新的图表或控件，请参见开放组件。可嵌入报表数量：二、基础报表嵌入方案：根据quickBI账号获取Token，在报表url的后面拼接上该token进行授权。
2022-05-22 21:11:17
2165
2
原创 数据库事务和MVCC
如果去面试后端开发岗位那么一般都会被问到数据库知识，如果问数据库的知识点那么大概率就会问到数据库事务。对于数据库事务的认知很大程度上也反映了程序猿对数据库的认知层次。初级的知道数据库事务的四大特性，层次深一点能够区分事务隔离级别和相应的场景，更深入一些就需要去摸清事务是如何实现的了，至少要知道其实现的原理，这里根据这三个层次整理了数据库事务相关的知识点。什么是事务？事务就是一组数据库操作序列，这些操作要么全部执行,要么全部不执行，是一个不可分割的工作单位。假如A转账给B 100 元，...
2022-05-15 23:15:15
365
原创 使用阿里云dataworks中DataFrame踩的坑
dataworks是阿里云基于dataX在云端部署的一套ETL产品，对于中小企业来说大大降低了大数据的门槛和运维开发成本。它可以创建多种类型的节点，对于一般逻辑简单的数据处理直接使用SQL就可以解决，对于逻辑复杂流程也可以只用python节点，如下：只用PyODPS节点在做数据处理时遇到了一个小坑，应为PyODPS的DataFrame是阿里重构的，与pandas的DataFrame用法并不一致，若要使用pandas的DataFrame需要做一个转化：data = DataFrame(o.ge.
2022-05-01 23:16:41
2439
5
原创 redis+lua生成分布式自增单号
问题：最近在做价格系统的同步功能，简单描述下需求就是多家商城会跟随平台的采购成本和设置的毛利率而自动调整。每一次调整会生成批次记录。在测试环节发现生成的调价记录单号有重复的，我的第一判断是幂等没有控制好出现了重复插入的数据。经过排查发现，虽然单号是相同的但是它们的调价明细并不相同，由此可以排除幂等问题，它们并不是两条重复数据。翻看实现代码发现同事写的生成单号的规则直接用的时间戳代码如下：DateTimeFormatter formatter = DateTimeFormatter.of...
2020-09-16 15:48:29
1084
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人