数据库
关系型和非关系型数据库,msql,radis,hive
luck_man911
每个人首先都应该有自己的方向
展开
-
oracle定时删除归档日志
1、删除脚本 delete_arc.sh#! /bin/bashsource ~/.bash_profile #加载用户变量exec >> /home/oracle/log/del_arch`date +%F-%H`.log #记录脚本日志$ORACLE_HOME/bin/rman target / <<EOF#检查归档日志crosscheck archivelog all;#删除所有过期日志delete noprompt expired archivelog a原创 2020-12-29 16:04:01 · 2048 阅读 · 0 评论 -
Oracle故障:Breaking the connection before proto/dty negotiation, error raised 3136
一、现象:1、oracle客户端无法使用用户名和密码登录,提示:maximum number of processes (300) exceeded2、增大进程数到1000,过一段时间后,还是会进程数耗尽,提示1000二、解决方法:原创 2020-09-08 10:54:22 · 511 阅读 · 0 评论 -
oracle DataGuard停机和启动顺序
一、停机1、先关闭主库--登录数据库sqlplus / as sysdbasql>shutdown immediate2、再关闭备库--登录数据库sqlplus / as sysdbasql>alter database recover managed standby database cancel; --停止同步sql>shutdown immediate;二、启动1、启动主从监听,先启动从库,再启主库lsnrctl s.原创 2020-06-22 22:15:03 · 1367 阅读 · 0 评论 -
Orabbix监控oracle
Orabbix监控oracle原创 2020-06-11 16:45:34 · 425 阅读 · 0 评论 -
sql常用优化大全
1、like左边不要用%错误示例:WHERE cellphone like '%13620886383%' ,查询耗时2.5秒正确用法:WHERE cellphone like '13620886383%' ,查询耗时0.2秒2、原创 2020-05-01 10:14:52 · 143 阅读 · 0 评论 -
oracle数据库自动备份脚本
rman备份脚本:#!/bin/sh. ~/.bash_profilelog_file='oracle-rman-export.log'function log(){ cur_dateTime=`date +%Y-%m-%d,%H:%M:%S` echo $cur_dateTime'-->'$1 echo $cur_dateTime'-->'$1 >>...原创 2020-04-22 12:07:14 · 485 阅读 · 0 评论 -
DB与ES混合应用之数据实时同步
一、技术背景DB与ES本质上是属于不同应用领域的数据库产品,混合应用在一起主要面临2个问题 : 同步实时性,数据在DB更新之后,需要多久才能更新到Elasticsearch,多久的时间是应用系统可以接受的范围,一般需要控制在1s以内,如果是分钟以上,那这就属于离线同步。 数据一致性,数据频繁在DB变更修改,更新到Elasticsearch之后如何保证数据与DB一致,在容许的时间...转载 2020-04-16 14:54:53 · 1390 阅读 · 0 评论 -
Alibaba Canal
一、简介基于日志增量订阅和消费的业务包括数据库镜像 数据库实时备份 索引构建和实时维护(拆分异构索引、倒排索引等) 业务 cache 刷新 带业务逻辑的增量数据处理当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x二、原理MySQL主备复制原理MySQL master 将数据变更写入二进制...原创 2020-04-16 14:39:39 · 208 阅读 · 0 评论 -
mysql避免死锁的方法
1、在应用中,如果不同的程序会并发存取多个表,应该尽量约定以相同的顺序来访问表,这样可以大大降低产生死锁的机会。由于两个session访问表的顺序不同,发生死锁的机会就非常高,但是如果以相同的顺序来访问,死锁就可以避免; 2、在程序以批量方式处理数据的时候,如果事先对数据排序,保证每个线程按固定的顺序来处理记录,也可以大大降低出现死锁的可能; 3、在事务中,如果要更新记录,应该直接申请...原创 2020-04-08 09:10:34 · 1213 阅读 · 0 评论 -
分布式事务之TCC服务设计和实现注意事项!
来源:云栖社区 |作者:绍辉 | 原文地址见文末一、TCC简介TCC是一种比较成熟的分布式事务解决方案,可用于解决跨库操作的数据一致性问题;TCC是服务化的两阶段编程模型,其Try、Confirm、Cancel 3个方法均由业务编码实现;其中Try操作作为一阶段,负责资源的检查和预留,Confirm操作作为二阶段提交操作,执行真正的业务,Cancel是预留资源的取消;...转载 2020-03-02 22:40:20 · 440 阅读 · 0 评论 -
Sysbench 性能压测-MySQL
sysbench并不是一个压力测试工具,是一个基准测试工具。linux自带的版本比较低,我们需要自己安装sysbench。sysbench支持以下几种测试模式:1、CPU运算性能2、磁盘IO性能3、调度程序性能4、内存分配及传输速度5、POSIX线程性能6、数据库性能(OLTP基准测试)一、安装Sysbench1、检查linux是否安装[root@home-serv...原创 2020-02-18 00:41:22 · 770 阅读 · 0 评论 -
mysql插入性能测试
一、环境vm虚拟机,centos7,MySQL5.7,jdk8两台机器是局域网二、测试代码数据表:16个分表,表结构是20个字段,15个字段的长度是100个字符填充。使用java直接连接数据库,用多线程测试,每个线程一个数据库连接,事务自动提交。每个线程完成批量插入后才关闭连接。mysql没有进行线程优化,都是使用默认配置。三、测试数据1、1核,单表,innoDB...原创 2020-02-16 14:25:58 · 1639 阅读 · 0 评论 -
mysql自动备份和压缩
set Today=%date:~0,4%%date:~5,2%%date:~8,2%set filename=mzo-%Today%set source=D:\thwl\bak-sql\%filename%.sqlforfiles /p "D:\thwl\bak-sql" /m *.7z /d -15 /c "cmd /c del @path"mysqldump -uroot -ps...原创 2014-04-11 16:06:31 · 165 阅读 · 0 评论 -
oracle 创建只读用户
drop user shop_read;drop role shop_read_role;create user shop_read identified by "123433";CREATE ROLE shop_read_role ;grant SELECT ANY DICTIONARY to shop_read_role; grant SELECT ANY TABLE to sho...原创 2019-02-22 11:08:42 · 533 阅读 · 0 评论 -
数据库相关中间件介绍
https://www.cnblogs.com/grefr/p/6087942.html这里主要介绍互联网行业内有关数据库的相关中间件。数据库相关平台主要解决以下三个方面的问题:为海量前台数据提供高性能、大容量、高可用性的访问为数据变更的消费提供准实时的保障高效的异地数据同步应用层通过分表分库中间件访问数据库,包括读操作(Select)和写操作(update, insert和delete等,DDL...转载 2018-06-22 16:46:36 · 295 阅读 · 0 评论 -
Mycat 不适应场景
https://blog.csdn.net/gaobudong1234/article/details/795818461.非分片字段查询Mycat中的路由结果是通过分片字段和分片方法来确定的。例如下图中的一个Mycat分库方案:· 根据 tt_waybill 表的 id 字段来进行分片· 分片方法为 id 值取 3 的模,根据模值确定在DB1,DB2,DB3中的某个分...转载 2018-06-20 17:52:39 · 5055 阅读 · 4 评论 -
mysql 中float存入int数据显示失真问题
问题描述:表中字段定义为float类型,而实际通过代码存入int时,显示失真。把字段改为int,则显示正确。1、保存“8679759”时,有问题的存储显示:mybatis类使用的是字符串类型:2、修改字段类型为int类型,则能显示正确的值:暂时没有找到原因,建议数据库是什么类型,保存时就用什么类型,不要用String,或者存float,传int类型。...原创 2018-05-29 16:55:29 · 1663 阅读 · 0 评论 -
mysql联合索引测试
mysql联合索引和查询条件的匹配原则:只有当联合索引的第一个字段在where条件中出现时,才会使用索引查询,不然就是全表扫描查询。表的索引为:KEY`Index_query`(`transorderid`,`userorderid`,`tradetype`,`orgcode`,`productid`)一、使用索引查询的情况:1、查询条件和索引字段全部匹配2、查询条件和索引字段部分匹配3、查...原创 2018-05-11 17:41:43 · 2116 阅读 · 0 评论