- 博客(5)
- 收藏
- 关注
原创 100秒导出百万数据
这里用的阿里的easyExcel,这玩意写数据的时候会把整个excel文件一直放在内存;直到最后的finish(),71w数据的文件总大小为72M,平均每1W笔数据1M;select * from table where id > xx limit 1000,这种查询也有缺点,对于亿级别的数据而言,数据如果比较离散,第一次和最后一次会查询非常久,造成超时。(经测试每导出5w条数据,pageSize设置为1000或10000,导出时间没有区别,但是设置为100会慢2~3s)
2023-05-23 16:55:24
492
1
原创 分布式id生成器
如果当前的 Timestamp 和前一个已生成 ID 的 Timestamp 相同 (在同一毫秒中), 就用前一个 ID 的 sequence number + 1 作为新的 sequence number (12 bits);如果本毫秒内的所有 ID 用完, 等到下一毫秒继续 (这个等待过程中, 不能分配出新的 ID)10 bits 的机器号, 在 ID 分配 Worker 启动的时候, 从一个 Zookeeper 集群获取 (保证所有的 Worker 不会有重复的机器号)优点: 基本去中心化,无单点。
2023-05-23 15:54:58
344
1
原创 MySQL性能优化
本文从多个方面介绍了使用MySQL数据库的优化方案,但具体实践还需要对每个优化方案的利弊进行深入了解,并结合具体情况分析,从而设计出适合自己的最优方案。
2023-05-22 16:22:44
627
1
转载 Gitlab 服务器搭建
安装说明:https://about.gitlab.com/installation/sudo yum install -y curl policycoreutils-python openssh-server croniesudo lokkit -s http -s sshsudo yum install postfixsudo service postfix startsudo ch...
2018-12-18 22:41:59
150
原创 CentOS 6.5 上安装Mysql 5.6.24
1.查看mysql是否安装,如果安装了,卸载mysql# 切换root 权限[jin@localhost ~]$ su root# 检查是否安装过mysql[root@localhost jin]# rpm -qa|grep mysqlmysql-libs-5.1.71-1.el6.x86_64# 删除所有mysql(--nodeps就是卸载时不检查依赖关系)[root@local...
2018-12-18 22:22:11
281
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人