数据库领域
数据库相关技术
简简单单OnlineZuozuo
未闻万里蓬莱,而窥先圣遗智。故,以此生筑梦,奔而逐之;以泰山之伟,攀而登之;以静雅素心,处世为人。------zuozuo著
展开
-
数据库连接池 BoneCP、HikariCP 等
Tomcat 在 7.0 以前都是使用 common-dbcp 做为连接池组件,但是 dbcp 是单线程,为保证线程安全会锁整个连接池,性能较差,dbcp有超过60个类,也相对复杂。大型系统一般都有专门的监控类软件,如 skywalking、prometheus 等,因此连接池只需要做好的他的本职工作即可,应该更加关注连接池的性能。LRU 是思路是,最近使用过的缓存被认为是有用的,很久都没用过的数据应该是无用的,当内存空间不足时,应该优先淘汰很久没使用过的缓存。这样的场景,性能可能是一个数量级的提升。原创 2023-02-14 11:19:00 · 676 阅读 · 0 评论 -
大数据任务调度工具 Apache DolphinScheduler
Apache DolphinScheduler 于 17 年在易观数科立项, 19 年 3 月开源,8 月进入 Apache 孵化器DolphinScheduler 支持 K8S。原创 2022-11-02 13:15:55 · 889 阅读 · 0 评论 -
MySql SQL 脚本的可移植性,MySql 可以执行的注释代码
如下是一段 MySql 导出的数据库脚本的结尾,是一段被注释的代码,但是 MySql 是可以执行这些代码的。MySql 执行版本号由三部分构成,40101 代表 4.01.01 及以上版本可执行该命令。但是当 SQL 脚本在其它数据库执行时,则不会执行这些 MySql 的命令。原创 2022-09-22 15:40:49 · 647 阅读 · 0 评论 -
大数据应用场景和大数据职业发展需要掌握的技术技能构成
2、大数据人才的学习和发展路线规划原创 2022-06-25 14:42:35 · 2063 阅读 · 0 评论 -
MySql DUMP 自动备份数据库 Shell 脚本
MySql DUMP 自动备份数据库 Shell 脚本MySql DUMP 自动备份数据库 Shell 脚本MySql DUMP 自动备份数据库 Shell 脚本原创 2022-06-18 16:07:07 · 639 阅读 · 0 评论 -
Apache Flink 入门,了解 Apache Flink
Flink 主要在协议层面做了各类协议的转换,降低了各数据之间的转换成本,另外 Flink 基于内存保持状态,性能很高Flink 支持集群和分布式部署,可以支持海量的吞吐,达到 TB 级,相比于传统的数据处理方式,Flink 可以把数据直接转换成表格比如一个 JSON List ,Flink 可以直接把数据转变成 Table 然后通过 Flink SQL 进行数据处理操作Flink 可以对接多个数据源,然后通过 Flink SQL 过滤数据然后转发出去Apache Flink 是一个框架和分布式处理引原创 2022-06-02 14:16:32 · 675 阅读 · 0 评论 -
数据仓库 、数据中心相关技术知识和生态相关了解
文章目录数据仓库 、数据中心相关技术知识和生态相关了解1、数据仓库 数仓2、数据处理 ETL3、数据湖4、数据中心相关数据仓库 、数据中心相关技术知识和生态相关了解1、数据仓库 数仓数仓的分层1、ODS 层:Operation Data Store 原始数据层 加载原始数据不做处理2、DWD 层:Data Warehouse Detail 明细数据层 对 ODS 层数据进行清洗,去除空值、脏数据、超过极限范围的数据,对敏感数据进行脱敏3、DWS 层:Data Wa原创 2022-05-18 16:08:47 · 814 阅读 · 0 评论 -
分库分表解决方案和数据库分片中常见的问题及其解决方案
文章目录分库分表解决方案和数据库分片中常见的问题及其解决方案1、分库分表形式2、分库分表解决方案3、分库分表中存在的问题4、总结分库分表解决方案和数据库分片中常见的问题及其解决方案1、分库分表形式水平分库建立结构一样的库,根据分库方案划分数据到不同库水平分表建立多个表,根据分表方案划分数据到不同表垂直分库根据业务模块,把一组表划分为一个库垂直分表根据字段的活跃性,把字段组拆分到不同的表中2、分库分表解决方案分库分表工具(轻量级)1、sharding-sphere :jar 包原创 2022-03-27 22:19:09 · 3128 阅读 · 0 评论 -
数据库 MySql 执行计划分析
文章目录数据库 MySql 执行计划分析1、关键字2、explain 结果列3、可能值数据库 MySql 执行计划分析1、关键字explain查询 SQL 的执行计划explain extended会在 explain 的基础上额外提供一些查询优化的信息。 紧随其后通过 show warnings 命令可以 得到优 化后的查询语句,从而看出优化器优化了什么explain partitions相比 explain 多了个 partitions 字段, 如果查询是基于分区表的话,会显示原创 2022-02-28 20:51:07 · 916 阅读 · 0 评论 -
MySql 性能优化模版
文章目录MySql 性能优化模版1、MySql 的主配置文件2、根据机器性能调整相应的参数配置MySql 性能优化模版1、MySql 的主配置文件[client]#password = your_passwordport = 63227socket = /tmp/mysql.sock[mysqld]port = 63227socket = /tmp/mysql.sockdatadir = /www/server/datadefault_storage_engine = Inn原创 2021-12-30 19:16:57 · 674 阅读 · 0 评论 -
Docker - postgres 数据库
文章目录Docker - postgres 数据库1、构建 postgres 镜像2、运行 postgres 镜像3、postgres 镜像的基础知识3、连接到 postgres 数据库Docker - postgres 数据库1、构建 postgres 镜像拉取镜像docker pull postgres2、运行 postgres 镜像docker run --name...原创 2019-07-13 20:23:50 · 6118 阅读 · 0 评论 -
Docker - redis常用的管理脚本
文章目录Docker - redis常用的管理脚本1、拉取镜像2、运行镜像3、删除该容器4、进入redis命令行5、查看运行状态6、设置redis容器的时区为国内时区Docker - redis常用的管理脚本1、拉取镜像docker pull redis:5.0.62、运行镜像docker run \ --name test.redis \ --hostname=redis ...原创 2019-11-02 21:48:17 · 3671 阅读 · 0 评论 -
布隆过滤器 - Redis 布隆过滤器,Guava 布隆过滤器 BloomFilter - 代码实践
文章目录布隆过滤器 - Redis 布隆过滤器,Guava 布隆过滤器 BloomFilter - 代码实践1、通过guava 实现的布隆过滤器2、通过 redisson 实现的布隆过滤器3、通过Jedis 实现的布隆过滤器布隆过滤器 - Redis 布隆过滤器,Guava 布隆过滤器 BloomFilter - 代码实践1、通过guava 实现的布隆过滤器引入依赖 <...原创 2019-09-25 12:55:44 · 6051 阅读 · 2 评论 -
布隆过滤器 - Redis 布隆过滤器,Guava 布隆过滤器 BloomFilter
文章目录布隆过滤器 - Redis 布隆过滤器,Guava 布隆过滤器 BloomFilter1、布隆过滤器的起源,用途2、布隆过滤器的概念3、布隆过滤器的优缺点1、优点2、缺点4、应用场景5、布隆过滤器的工作原理6、布隆过滤器的设计布隆过滤器 - Redis 布隆过滤器,Guava 布隆过滤器 BloomFilter1、布隆过滤器的起源,用途布隆过滤器(Bloom Filter)是197...原创 2019-09-25 09:58:38 · 10470 阅读 · 5 评论 -
Redisson 概述:什么是Redisson ,Redisson 能干什么
文章目录Redisson 概述:什么是Redisson ,Redisson 能干什么1、Redisson是什么2、最大支持内存3、云支持4、Redisson 的结构5、底层和版本支持Redisson 概述:什么是Redisson ,Redisson 能干什么1、Redisson是什么Redisson是一个在Redis的基础上实现的Java驻内存数据网格(In-Memory Data Gri...原创 2019-09-24 12:57:31 · 16059 阅读 · 0 评论 -
Springboot 集成 Redisson 分布式锁:项目集成
文章目录Springboot 集成 Redisson 分布式锁:项目集成1、POM引入依赖2、创建配置文件3、编写配置类Springboot 集成 Redisson 分布式锁:项目集成1、POM引入依赖 <dependency> <groupId>org.redisson</groupId> ...原创 2019-09-24 12:43:43 · 4717 阅读 · 0 评论 -
Springboot 集成 Redisson 启动报错 非法字段 Unrecognized field "dnsMonitoring"
文章目录Springboot 集成 Redisson 启动报错 非法字段 Unrecognized field "dnsMonitoring"1、具体异常2、最主要异常原因: com.fasterxml.jackson.databind.exc.UnrecognizedPropertyException: Unrecognized field "dnsMonitoring"Springboot ...原创 2019-09-24 12:23:02 · 7385 阅读 · 0 评论 -
Caused by: com.fasterxml.jackson.databind.exc.UnrecognizedPropertyException: Unrecognized field "dns
文章目录Caused by: com.fasterxml.jackson.databind.exc.UnrecognizedPropertyException: Unrecognized field "dnsMonitoring"1、UnrecognizedPropertyException 无法识别的属性异常2、如何解决Caused by: com.fasterxml.jackson.data...原创 2019-09-24 11:55:48 · 7493 阅读 · 0 评论 -
Springboot - Redis 同源切换db,切换数据库
文章目录Springboot - Redis 同源切换db,切换数据库1、使用RedisTemplate 切换同源的Redis DBSpringboot - Redis 同源切换db,切换数据库1、使用RedisTemplate 切换同源的Redis DB依托于Springboot 提供的RedisTemplate ,或者自己实现的继承于RedisTemplate 的类也可以 /** ...原创 2019-08-30 16:50:16 · 6849 阅读 · 2 评论 -
Docker - redis 5.0 集群,cluster模式,通过springboot 集成并 操作 redis 集群
文章目录Docker - redis 5.0 集群,cluster模式1、准备工作2、配置工作3、编写Dockerfile 文件4、构建镜像文件5、创建docker 网络6、映射docker 网络7、运行最少3个redis 实例8、对redis 实例进行集群9、测试redis 集群10、构建springboot 应用Docker - redis 5.0 集群,cluster模式1、准备工作...原创 2019-07-11 23:42:43 · 6031 阅读 · 8 评论 -
Springboot 通过ApplicationContext 读取StringRedisTemplate 的bean,No bean named 'stringRedisTemplate'
文章目录Springboot 通过ApplicationContext 读取StringRedisTemplate 的bean,No bean named 'stringRedisTemplate'1、通过ApplicationContextAware 注册applicationContext并获取容器中的bean2、Springboot 自己实现的 StringRedisTemplate3、通过...原创 2019-04-16 17:19:32 · 6924 阅读 · 0 评论 -
缓存穿透,缓存击穿,缓存雪崩
文章目录缓存穿透,缓存击穿,缓存雪崩1、什么是缓存穿透2、如何解决缓存穿透方案一方案二3、什么是缓存击穿4、缓存击穿与缓存雪崩的区别5、如何解决缓存击穿方案一方案二方案三方案四6、什么是缓存雪崩7、如何避免缓存雪崩缓存穿透,缓存击穿,缓存雪崩1、什么是缓存穿透缓存穿透是指查询一个一定不存在的数据,一般情况下,首先查询缓存,如果缓存不存在,则去查询数据库,并把结果写入缓存,并且出于容错考虑...原创 2019-02-28 13:33:45 · 4384 阅读 · 0 评论 -
Springboot 中 Redis缓存使用 @Cacheable不生效的原因,以及@Cacheable 的一些注意点
Springboot 中 Redis缓存使用 @Cacheable不生效的原因,以及@Cacheable 的一些注意点1、有如下代码 // get 方法调用了 stockGive 方法,stockGive 方法使用了缓存 // 但是每次执行get 方法的时候,缓存都没有生成,也就是缓存没有被创建 public void get(){ stockGiv...原创 2018-11-26 17:24:43 · 25176 阅读 · 0 评论 -
Springboot 2.0.x Redis缓存Key生成器,自定义生成器
文章目录Springboot 2.0.x Redis缓存Key生成器,自定义生成器1、默认的Key生成策略2、重写生成器3、注册自定义生成器4、应用5、在Redis 中Key的显示Springboot 2.0.x Redis缓存Key生成器,自定义生成器1、默认的Key生成策略首先看看生成器接口的源码package org.springframework.cache.intercept...原创 2018-11-22 10:58:45 · 10534 阅读 · 2 评论 -
Springboot 2.0.x 集成Redis缓存
文章目录Springboot 2.0.x 集成Redis缓存1、引入Redis缓存依赖2、配置Redis 数据库3、配置Redis CacheManager4、开启缓存5、使用缓存Springboot 2.0.x 集成Redis缓存1、引入Redis缓存依赖<dependency> <groupId>org.springframework.b...原创 2018-11-21 12:33:09 · 4682 阅读 · 0 评论 -
Redis 数据库keys 命令的模糊查询
文章目录Redis 数据库keys 命令的模糊查询1、支持的通配符2、* 通配符3、?通配符4、[ ]匹配Redis 数据库keys 命令的模糊查询1、支持的通配符第一种:*第二种:?第三种:[]2、* 通配符1、单个 * 模式// 查询所有的keykeys * 2、双 * 模式,匹配任意多个字符// key中含有keyword 的keykeys *keyword*...原创 2018-10-31 10:26:19 · 65757 阅读 · 6 评论 -
Springboot 2.x版本 RedisCacheManager 类的配置,【与1.x 略有不同】
文章目录Springboot 2.x版本 RedisCacheManager 类的配置,【与1.x 略有不同】1、1.x 配置方式2、2.x 配置方式Springboot 2.x版本 RedisCacheManager 类的配置,【与1.x 略有不同】1、1.x 配置方式@Beanpublic CacheManager cacheManager(RedisTemplate redis...原创 2018-09-29 14:44:58 · 21289 阅读 · 6 评论 -
Windows下的Redis服务化 - Redis静默运行
Windows下的Redis服务化 - Redis静默运行1.安装Redis服务Microsoft Windows [版本 10.0.16299.248](c) 2017 Microsoft Corporation。保留所有权利。// 移动到redis 目录C:\Users\Administrator&gt;cd C:\Users\Administrator\Desktop\red...原创 2018-03-30 16:30:14 · 6491 阅读 · 2 评论 -
Mysql 在不同内存情况下性能优化参数设置
文章目录Mysql 在不同内存情况下性能优化参数设置1、可用内存为 1G 左右2、可用内存为 2G 左右3、可用内存为 3G 左右4、可用内存为 6G 左右5、可用内存为 16G 左右Mysql 在不同内存情况下性能优化参数设置1、可用内存为 1G 左右适用范围 1-2G 内存的服务器key_buffer_size128MB用于索引的缓冲区大小query_cache_size64MB.查询缓存,不开启请设为0tmp_table_size64MB,临时表缓存大小innodb原创 2021-04-14 11:25:18 · 724 阅读 · 0 评论 -
Mysql - mysqld 、mysqld_safe 区别,mysqld_safe 是什么
文章目录Mysql - mysqld 、mysqld_safe 区别,mysqld_safe 是什么1、区别2、在后台启动 mysqld_safe3、端口Mysql - mysqld 、mysqld_safe 区别,mysqld_safe 是什么1、区别【mysqld】:是 mysql 的核心程序,用于管理 mysql 的数据库文件以及用户的请求操作。mysqld可以读取配置文件中的[mysqld]的部分【mysqld_safe】:是一个守护进程,mysqld挂了会自动把mysqld进程拉原创 2021-02-02 16:46:43 · 1418 阅读 · 0 评论 -
Docker - mysql 忽略大小写
文章目录Docker - mysql 忽略大小写1、Linux 下mysql2、构建mysql 镜像3、参数说明Docker - mysql 忽略大小写1、Linux 下mysqlLinux 下mysql 区分大小写,这个是否区分主要由 lower_case_table_names字段控制要去改配置文件,重启mysql 才能生效,但是docker 下不需要那么麻烦2、构建mysql 镜...原创 2020-02-27 22:21:50 · 2070 阅读 · 0 评论 -
MySQL Illegal mix of collations for operation 'like'
文章目录MySQL Illegal mix of collations for operation 'like'1、触发时机2、解决办法MySQL Illegal mix of collations for operation ‘like’1、触发时机使用 like 查询时,查询字段的类型是 time,date,datetime ,但是like 的值是字符mysql 版本 > 5...原创 2019-11-05 11:06:30 · 3461 阅读 · 0 评论 -
Docker - mysql常用的管理脚本
文章目录Docker - mysql常用的管理脚本1、拉取镜像2、运行镜像3、删除该容器4、进入mysql命令行5、查看运行状态6、设置mysql 容器的时区为国内时区Docker - mysql常用的管理脚本1、拉取镜像docker pull mysql:8.0.182、运行镜像docker run \ --name test.mysql \ --hostname=mysq...原创 2019-11-02 21:44:27 · 3438 阅读 · 0 评论 -
Mysql 的ANY_VALUE()函数和 ONLY_FULL_GROUP_BY 模式
文章目录Mysql 的ANY_VALUE()函数和 ONLY_FULL_GROUP_BY 模式1、ONLY_FULL_GROUP_BY 引发2、通过临时去掉ONLY_FULL_GROUP_BY 模式来进行查询3、通过修改配置文件去掉ONLY_FULL_GROUP_BY 模式来进行查询4、通过ANY_VALUE()函数忽略没有参与分组的列Mysql 的ANY_VALUE()函数和 ONLY_F...原创 2019-10-15 21:03:47 · 6851 阅读 · 2 评论 -
Docker - 从创建mysql镜像开始
文章目录Docker - 从创建mysql镜像开始1、下载mysql 镜像2、查看已经安装的镜像3、运行mysql 镜像4、进入docker 命令行界面5、登陆mysql6、mysql 授权7、退出mysql 面板8、退出docker 命令行9、通过连接工具或者代码连接mysqlDocker - 从创建mysql镜像开始1、下载mysql 镜像下载mysql 5.7 版本的镜像docke...原创 2019-07-02 23:50:13 · 4318 阅读 · 0 评论 -
MySQL 正则表达式,MYSQL 通过正则表达式进行匹配查询
文章目录MySQL 正则表达式,MYSQL 通过正则表达式进行匹配查询1、如何使用,语法2、regexp 模式3、几个demoMySQL 正则表达式,MYSQL 通过正则表达式进行匹配查询1、如何使用,语法select * from 表名 where 字段名称 regexp '正则表达式' 2、regexp 模式模式说明^匹配输入字符串的开始位置。如果设置了 R...原创 2019-04-15 21:03:27 · 6380 阅读 · 0 评论 -
WARN: Establishing SSL connection without server's identity verification is not recommended
WARN: Establishing SSL connection without server’s identity verification is not recommended不建议建立没有服务器身份验证的SSL连接1、应用程序启动警告:不建议建立没有服务器身份验证的SSL连接Sun Sep 30 14:00:37 CST 2018 WARN: Establishing SSL con...原创 2018-09-30 14:11:20 · 4543 阅读 · 0 评论 -
如何让RDS 下的 Mysql 支持 Emoji 表情存储
如何让RDS 下的 Mysql 支持 Emoji 表情存储步骤一:设置数据库字符编码1、登录到阿里云 RDS 管理控制台 2、管理实例 3、找到设置参数菜单 4、找到参数 character_set_server 5、默认值为 utf8 ,修改为 utf8mb4 6、提交参数 【注意:提交参数需要重启RDS实例】步骤二:设置数据库表的编码集1、找到表...原创 2018-08-31 11:49:34 · 4796 阅读 · 2 评论 -
Mysql 连接参数 useAffectedRows 详解
Mysql 连接参数 useAffectedRows 详解1、官方介绍useAffectedRowsDon’t set the CLIENT_FOUND_ROWS flag when connecting to the server (not JDBC-compliant, will break most applications that rely on “found” rows...原创 2018-08-14 10:44:34 · 18434 阅读 · 3 评论 -
MySql - 快速执行:在update时使用select赋值
MySql - 快速执行:在update时使用select赋值#1.MySQL不允许SELECT FROM后面指向用作UPDATE的表。2.MySQL不允许UPDATE在SET时直接SELECT3.Currently, you cannot update a table and select from the same table in a subquery.[原创 2018-01-08 12:21:01 · 13904 阅读 · 1 评论