♥ 数据库和缓存
文章平均质量分 87
星辰_mya
好好学习,天天向上
展开
-
Oracle基础版
摘要原创 2022-12-19 17:37:29 · 756 阅读 · 3 评论 -
clickhouse
好久不用clickhouse,本来以为公司不用了,结果这几天统计数据载在这上面了,再查clickhouse发现版面都变了了,原来你以为的风平浪静其实都是在蓄势待发,加油吧以下是某大厂使用探索,谢谢分享https://www.sohu.com/a/332065480_4118761、join会那右表中的每一条数据到左表查找是否改记录存在,所以将小表放到右边 不存在右表相应字段返回该字段类型的默认值,拒绝这种处理方式可添加join_use_nulls配置2、通过jdbc批量写入数...原创 2020-05-31 22:37:50 · 1753 阅读 · 1 评论 -
sql分析优化利器
算是一个工具,需要下载的,原博客写的很好(要不然我也不再转)链接贴在这里https://www.jianshu.com/p/cb2be017d5a9不再提炼了,主要是对日志、现有资源的分析给出建议...转载 2020-03-05 19:41:13 · 146 阅读 · 2 评论 -
mysql基础知识补充
关于distinct 是特殊的group by,在8.0之前group by会对结果集排序,distinct不会原创 2020-02-15 13:37:43 · 218 阅读 · 0 评论 -
canal基于数据库的日志解析
阿里巴巴mysql数据库binlog的增量订阅&消费组件背景: 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开启了一段新纪元。m...原创 2019-03-07 20:07:16 · 1074 阅读 · 1 评论 -
分布式数据库系统-概念了解
DDBS:分布式数据库管理系统DDBMS和分布式数据库DDB 应用程序可对数据库进行透明操作,库中数据分别在不同的局部数据库中存储、由不同DBMS管理、运行在不同机器上,由不同操作系统支持,被不同的通信网络连接在一起 较集中式数据库系统相比具有可扩展性,通过增加适当数据冗余(多个副本)、提高系统可靠性 提高系统可靠性,可用性,某一个场地故障可操作另一场地的副本特...转载 2018-12-17 18:47:22 · 301 阅读 · 2 评论 -
clickhouse实时数据分析数据库
遨游在公司的技术里,有些兴奋、有些惶恐一、基础知识 列式数据库管理系统:columnar DBMS、联机分析处理OLAPhttp://www.clickhouse.com.cn/api社区https://www.csdn.net/article/2018-01-14/2826786-ClickHousehttps://www.jianshu.com/p/8633ae4...原创 2019-01-18 15:06:31 · 7793 阅读 · 6 评论 -
clickhouse之前提查询
attach类create,but不在硬盘上创建表,假设表已经存在只是向服务添加表的说明,执行之后,服务将知道表的存在ATTACH TABLE [IF NOT EXISTS] [db.]name [ON CLUSTER cluster]在启动服务器时使用,服务器将表元数据视为文件保存 check table1、检查表中的数据是否被破坏,对比文件实际大小与服务器上存储的期...转载 2019-01-23 20:20:58 · 3073 阅读 · 3 评论 -
你真的了解事务吗?
事务:同一个事务中的操作是一个工作单元 SSIS:SQL Server集成服务(SQL Server Integration Services) 默认支持Task组件级别的事务https://blog.csdn.net/nginxs/article/details/77314199单个Task组件的事务处理: Execute SQL Task:该组件中执行TSQ...转载 2018-12-20 23:36:47 · 202 阅读 · 7 评论 -
mysql主从同步复制
异步复制、5.1.7以上版本分为异步复制和半同步三个线程: slave两个线程:SQL线程和IO线程 master端IO线程过程: slave从master获取binlog日志,顺序执行日志中记录的各种sql操作1、slave端的IO连接master,从指定的pos节点开始复制内容2、master端收到请求,通知IO线程(复制工作)据请求读取指定binlog的...转载 2018-12-20 20:58:12 · 167 阅读 · 4 评论 -
事务
数据库事务:Database Transaction为单个逻辑工作单位执行一系列操作ACID:Atomic原子、Consistent一致、Insulation隔离、Duration持久 spring事务管理: Spring注解方式事务的实现机制:https://blog.csdn.net/qq_29347295/article/details/79019221在系统中调...原创 2018-12-20 20:22:24 · 169 阅读 · 2 评论 -
【Oracle】知识点小结
数据库 数据库实例 表空间(逻辑单位) 数据文件(物理单位)oracle库只有一个实例orcl,和MySQL mysql:创建库、创建表;多数据库 oracle:创建表空间,创建用户,用户建表,多用户SQL:分类及每类常见操作符DDL:数据定义语言 create alter drop truncate DML:数据操作语言,insert update...原创 2018-08-28 22:40:26 · 370 阅读 · 0 评论 -
【高性能MySQL】第三章服务器性能剖析 (上)
前言: 保持空杯精神,使用性能剖析,专注于测量服务器的时间花费在哪里,思考1、如何确认服务器是否达到了性能最佳状态,2、某条语句为什么不够快,诊断被用户描述为“停顿、堆积、卡死”的某些间歇性疑难故障; 接下来将介绍一些工具、技巧优化整机性能、优化单条语句执行速度,诊断 解决那些很难观察到的问题,展示如何测量系统并生成剖析报告、如何分析系统的堆栈; 3.1简介性能:为完...原创 2018-08-03 16:18:57 · 288 阅读 · 2 评论 -
【MySQL优化】show processlist命令详解+常用计数器
来自:https://blog.csdn.net/sunqingzhong44/article/details/70570728 https://blog.csdn.net/ocean73737/article/details/77648075show processlist命令详解SHOW PROCESSLIST显示哪些线程正在运行不在mysql提示符下使用...转载 2018-08-03 10:17:40 · 3082 阅读 · 0 评论 -
clickHouse之SQL语法之select(二)
limit n by可含任意多个分组字段表达式列表,与limit无关系,limit n by columns可用在每个columns分组中求最大的n行数据为每个domain, device_type的组合选出前5个访问最多的数据,但是结果最多将不超过100行(LIMIT n BY + LIMIT)SELECT domainWithoutWWW(URL) AS domain, ...转载 2019-01-23 15:43:47 · 13774 阅读 · 4 评论 -
clickhouse之insert into
insertINSERT INTO [db.]table [(c1, c2, c3)] VALUES (v11, v12, v13), (v21, v22, v23), ...插入时指定列,其他的列,将 1、如存在default表达式,根据default表达式计算被填充的值 2、不存在,填充零或空字符串如strict_insert_defaults=1,须在查询中...转载 2019-01-23 16:01:38 · 21413 阅读 · 2 评论 -
mysql事务
事务传播行为:propagation behavior propagation_required:支持当前事务,如当前无新建,有加入当前 propagation_supports:支持当前事务,如当前无 非事务方式执行,有加入当前 propagation_mandatory:支持当前事务,如当前无 异常 propaga...原创 2020-05-17 19:13:24 · 195 阅读 · 0 评论 -
ShardingSphere下
使用规范不支持:不支持case when,having,union可解析至第一个含表的子查询,在下层嵌套再次找到子查询抛错子查询不支持聚合函数,不支持含shema的SQL:shardingsphere对sql的访问都是在同一个逻辑schema上分页完全支持MySQL、PostgreSQL和Oracle的分页查询,SQLServer由于分页查询较为复杂,仅部分支持性能编...原创 2019-08-27 15:01:58 · 2349 阅读 · 0 评论 -
ShardingSphere部分(上)
数据分片:按某个维度将存放在单一数据库中的数据分散存放到多个库或表中,提升性能瓶颈及可用性 有效手段:对关系型数据库分库分表:避免数据量超过可承受阈值产生查询瓶颈 分库:有效分散对数据库单点的访问量 分表:尽量将分布式事务转化为本地事务的可能垂直拆分:按照业务拆分,纵向拆分:专库专用;无法真正解决单点瓶颈,可缓解数...原创 2019-08-22 10:19:26 · 1765 阅读 · 3 评论 -
Databus
今天发现了Databus,恕我愚钝,目前感觉这个东西比canal更胜一筹,为什么呐? 博客:https://www.cnblogs.com/xunshao/p/9762377.html—— 看完留下我无知的感叹:Databus好厉害呀!我的妈呀、用它 O(∩_∩)O哈哈~ 抖音洗脑了,应该是各有长处的,这里丫头我就不做店评了,确实还不(hen)够(nian)格(qing...原创 2019-06-23 16:59:47 · 3052 阅读 · 6 评论 -
redission
https://github.com/redisson/redisson/wikihttps://www.jianshu.com/p/6f7d6a1c3bc2分布式锁:java编写支持redis cluster,master-slave,redis哨兵和redis单机上面的wiki很丰富了,请看两遍,谢谢...原创 2019-05-30 20:59:28 · 574 阅读 · 2 评论 -
canal详解
EventParser WorkFlowEventStore负责存储解析后的Binlog事件,而解析动作负责拉取Binlog,它的流程比较复杂。需要和MetaManager进行交互。比如要记录每次拉取的Position,这样下一次就可以从上一次的最后一个位置继续拉取。所以MetaManager应该是有状态的。EventParser的流程如下:Connection获取上一次解析成功的...转载 2019-03-28 21:06:22 · 590 阅读 · 1 评论 -
ClickHouse 来一篇
是时候来见证一下真正的面向列的DBMS了!!!真正的DBMS没有任何垃圾值,数据紧凑存储(无需存数值长度):定长数值clickhouse容许在运行时可建表建库,加载数据进行查询,不需要重新配置 重启服务器快:不是一般的飞快支持事务,无隔离级别:ACID是没戏了,so数据可能不一致 我们CK是分析性数据库嘛 引擎:合并树MergeTree系列通主键字典排序,主键可以是列...原创 2019-03-03 10:30:46 · 493 阅读 · 0 评论 -
clickhouse之create
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1], name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2], ...) ENGINE = engi...转载 2019-01-23 16:59:17 · 5519 阅读 · 1 评论 -
【高性能MySQL】第四章Schema与数据类型优化(下)
4.2MySQL schema设计中的陷阱因为mysql实现机制导致了一些特定错误,如何避免,慢慢道来:1、太多的列MySQL存储引擎api工作时需要在服务器层和存储引擎层通过行缓冲格式拷贝数据,然后在服务器层将缓冲内容解码成各个列,从行缓冲中将编码过的列转换成行数据的操作代价高,myisam定长行与服务器行结构正好匹配,不需要转换;但是变长行结构 InnoDB的行结构总是需要转换,转...原创 2018-08-07 11:40:35 · 302 阅读 · 0 评论 -
【MySQL】mysql 聚簇索引 和聚簇索引 (二级索引)的 那些事
原文:https://blog.csdn.net/bigtree_3721/article/details/51335479 mysql的聚簇索引是指innodb引擎的特性,mysiam并没有,如果需要该索引,只要将索引指定为主键(primary key)就可以了。比如:create table blog_user( user_Name char(15) not null ...转载 2018-08-11 11:51:21 · 532 阅读 · 2 评论 -
【MySQL】Sysbench 性能压测
合成自:http://linuxperformance.top/index.php/archives/83/ https://blog.csdn.net/notbaron/article/details/77413379 https://www.cnblogs.com/kismetv/archive/2017/09/30/7615738.html...转载 2018-08-02 11:48:25 · 11037 阅读 · 1 评论 -
数据库基础
前言:最近在做一个信息收集的小项目,一个星期,开始感觉时间挺富裕的因为需要的技巧什么啦可以说有现成的代码,稍微改动就行了,现在快到期了,数据库设计90%的完工,之前认为数据库设计没什么,现在在云姐的带领下,感觉数据库设计还是值得总结一下的,这里主要说一下字段的命名规范还有类型介绍,如果有时间就写一些类型选择,先写吧~正文:之前Wuli阿里公开了一pdf版的《Java原创 2017-06-25 17:59:01 · 427 阅读 · 25 评论 -
配置文件
最近准备挑起“VB.NET机房收费系统个人重构版”的大梁,当然开始是没有什么头绪的,所以开始了“网虫”之旅,看大家写的一些博客,看到“配置文件”的戏份挺重的,之前设计模式中也有过配置文件的介绍,所以、问题来了,什么是配置文件?DO YOU KNOW IT CLEARLY ? OK , LET'S BEGIN。配置文件即对不同对象进行不同配置的文件。原创 2016-03-03 19:27:28 · 1008 阅读 · 35 评论 -
数据库优化之PreparedStatement
执行许多SQL语句的JDBC程序产生大量的Statement和PreparedStatement对象。通常认为PreparedStatement对象比Statement对象更有效,特别是如果带有不同参数的同一SQL语句被多次执行的时候。PreparedStatement对象允许数据库预编译SQL语句,这样在随后的运行中可以节省时间并增加代码的可读性。在orcle中,statement为sq原创 2017-02-17 21:47:01 · 619 阅读 · 14 评论 -
项目总结---上传文件之详情
前言:之前写过类似的博客,不过质量不怎么样:因为之前年龄小、不懂事,现在随着某处传来 渺茫的钟声、项目接近尾声;小菜便把项目过程中的磕磕绊绊,“呕心沥血”之所得:文件上传到mongo并在MySQL中插入一条上传记录的收获写成博客。正文说一下流程吧:cshtml——js——controller查站在巨人的肩膀上,所以开始做的时候:上网查!找到一个资料、感觉挺不错的于是开始设计界面,花了几天时间,后面...原创 2017-04-16 22:13:21 · 485 阅读 · 17 评论 -
hibernate
前言:最近在做一个Java的项目,量身定做一个官方网站,断断续续的一段时间了,so 总结的时间到了,这次的主角是wuli hibernate呀ORM:先喧宾夺主下哈~实现思想是:将数据库中表的数据映射成对象hibernate:是什么?一句话:对JDBC的进一步封装;对对象的持久化:将内存中对象存到存储设备上,JDBC是一种持久化机制换个角度,hibernate是ORM框架,建立关系型数据库与对象之...原创 2017-05-30 21:56:23 · 399 阅读 · 19 评论 -
视图小介
视图:不存在与任何地方,直达被使用时为用户提供数据库中数据的一个特定图的查询不过是SQL语句,被存储在数据库中,具有一个相关的名称DBA数据库管理员可以完成:1、用户感到自然方式构造数据2、限制用户对数据访问,只能看到、修改需要的3、构建基础数据结构简化DBA工作(构建视图)4、汇总数据,用于报告好处:可重命名字段,被用作查询安全,提供个人化数据,为原创 2016-03-01 20:05:05 · 801 阅读 · 23 评论 -
数据库查询集锦
、P387:解析:考察关系运算——自然连接 关系R与S具有相同的属性组B,该属性组的值相等时的连接称为自然连接。结果关系的属性集合为R的属性并上S 减去属性B的属性集合;R和S自然连接可记作:R⋈S={t r⌒ts |tr∈R∧ts∈S∧tr[A]=ts[B]} 具体到本题将重复的字段名C、D去重,结果为R1.A R1.B ,R1.C R原创 2016-10-30 19:53:35 · 832 阅读 · 17 评论 -
软考之数据库技术基础
数据库是软考的一大重点,软考玩总结一下、不过这次总结的不太好,虽如此还是发个博客记录一下吧:数据库系统是储存信息的系统;数据库则是信息仓库,设计数据库是为了管理大量的信息,提供抽象视图;数据:描述事物符号记录;信息:现实世界存在方式、状态的反映;【关于并发控制技术:】封锁:排他锁:X,事务T对数据对象A加上X锁原创 2016-11-25 21:32:11 · 851 阅读 · 34 评论 -
数据库的join连接
What 's?select *from a inner join bon a.id=b.idinner join内连接,即我们比较常见、常用的join连接上面的查询,两个表中“id”字段的值相等才能有结果 在表中存在至少一个匹配时,INNER JOIN 关键字返回行 outer join左外连接:left outer join 一切向左看齐,左原创 2017-01-23 21:07:51 · 430 阅读 · 22 评论 -
仅当使用了列的列表,并且IDENTITY_INSERT为ON时,才能在表'goldlog'中为标识列指定显式值
标题即问题;用VB.NET敲三层出现的这个问题,是在一些问题之后出现的,之前的问题大都是多打了一个字母,或者丢了一个letter造成的, 看来真是有些太马虎了,改改改!进入正题,下面是数据访问层的代码,在最后一行报了一个错误:仅当使用了列的列表,并且IDENTITY_INSERT为ON时,才能在表'goldlog'中为标识列指定显式值。Dim cmd As SqlCommand原创 2016-02-25 17:23:19 · 13018 阅读 · 18 评论 -
空指针常量
空指针、自动拆箱、自动装箱、引用、指针原创 2016-02-24 21:39:12 · 1131 阅读 · 18 评论 -
SSH官网的spring配置文件配置连接池
这个配置可以单独写到一个文件中,官网中我们单独写 了一个文件,在spring配置文件中也配置了一些其他的配置 <!-- 配置连接池: --> <!-- 引入外部属性文件 --> <context:property-placeholder location="classpath:jdbc.properties"/> <!-- 配置DRU...原创 2018-07-22 22:23:58 · 436 阅读 · 1 评论 -
事务
两大作用: 保护完整性正在使用的数据行不会被其他人修改 问题:这个SQL入门经典通过举例子讲的挺详细的需要使用时使用、不需要最高级别的隔离级别设置正确级别Transact—SQL 需要显式执行 begin transaction 语句;是,执行commit语句结束事务并开始下一个MySQL执行语句时自动锁定所涉及的资源、多条语句不行——多条定义为一个事务,防...原创 2018-07-23 10:15:35 · 101 阅读 · 1 评论