数据存储方案
文章平均质量分 53
英雄史诗
这个作者很懒,什么都没留下…
展开
-
MySql基础_2常用语句
=========== 基础SQL ======================== 基础SQL ============原创 2023-07-20 19:30:25 · 98 阅读 · 0 评论 -
GR节点故障The member contains transactions not present in the group
背景1个共用的测试环境:3节点、单主的的group replication。一天启动节点3(node3)时,报错:[ERROR] Plugin group_replication reported: ‘The member contains transactions not present in the group. The member will now exit the group.’本文是处理过程和总结。错误的含义节点包含了非group内的事务。查看node3的数据,确实有与其他节点不一样的数原创 2020-06-18 15:04:12 · 2255 阅读 · 0 评论 -
MGR新加节点一直recovering故障解决
背景有个3节点的验证环境,最开始搭了基于binlog的传统主从同步。后来升级为group replication结构,primary node启动正常,2个后加入的node 状态一直处于recovering状态。以下记录解决的过程,具体内部原理不是很清楚,可能有的步骤不一定发挥了作用。解决过程1.修改hostname看官档的部署和别人的方案,节点hostname都是不同的。我的都是默认的localhost.localdomain,不知道在互相通讯时,这个名称一样的会否导致混乱。因此改的名字。1原创 2020-05-25 19:50:09 · 3996 阅读 · 0 评论 -
MGR新加入节点的启动过程
整理了下加入新节点的启动日志,了解启动过程,方便后续报错时对比排错。准备动作#################################1.读取本机网络配置:是否启用ssl、本机ip加入白名单[Note] 'CHANGE MASTER TO FOR CHANNEL 'group_replication_recovery' executed'. Previous state master_host='', master_port= 3306, master_log_file='', master原创 2020-05-25 16:55:05 · 669 阅读 · 0 评论 -
MySQL组复制(group replication)基础知识和3节点环境搭建
1、MGR是什么mysql的一种主从实时复制的集群环境。5.7开始出现的新特性,号称保证金融级的数据一致性。2、MGR为什么传统的基于binlog的复制,是异步复制方案。master不关心binlog的传递、relaylog的执行,很容易出现主从数据不一致的情况。MGR主要解决数据一致性问题。3、MGR如何实现与传统复制对比,事物会在集群内广播,确保全部阶段应答无误后,才进行后续的操作。4、3节点MGR搭建过程网上内容比较多了,直接贴笔记。注意:1.最好修改各节点hostname,方原创 2020-05-25 16:38:02 · 267 阅读 · 0 评论 -
mysql基于binlog同步:binlog内容和时间戳记录
1.binlog的日志内容IO线程把binlog日志从master抽取到slave,转存到relaylog,但pos保持一致。可用途mysqlbinlog工具查看查看master指定pos的日志 [root@localhost testRepl]# mysqlbinlog -v --base64-output=DECODE-ROWS /usr/local/mysql/data/mysql-bin.000002 | grep -A '10' 106881433#200518 20:14:42 s原创 2020-05-20 10:30:55 · 3008 阅读 · 0 评论 -
Mysql基于binlog的传统主从复制
1.应用场景高可用性:多个节点保存同样的数据,slave可提供备用环境。数据安全:slave可以独立备份,不影响master分析:可给予slave做数据分析远程数据分发:异地灾备2.实现方案原理复制主要有2个动作:slave从master抽取binlog本动作由master和slave的IO线程完成。类似数据的ETL,数据源信息在master.info文件,时间戳在relay-log.info文件抽取到的日志保存在relaylog中,供salve的SQL线程消费slave读取re原创 2020-05-20 09:46:20 · 278 阅读 · 0 评论 -
Oracle12C新特性
关键变化:多租户架构Multitenant一个数据库软件可以挂载多个库。与传统的多实例不同,多实例是1个电脑上,多个数据库软件+数据库概念:容器、可插拔数据库。好处:1.降低费用:把原来需要的多个服务器集成到了1组后台进程,提高资源效率2.易于管理:补丁、rman可以在1台电脑集中操作。ps: 更详细内容可以先看12C的《concepts》,有准确、详细的描述,比大多数网贴更系统。 ...原创 2020-03-20 09:39:49 · 246 阅读 · 0 评论 -
Oracle的rac是什么?
rac是什么?多个不同服务器上的实例,访问共享的数据库文件,扩展了CPU和内存,提高性能;多节点,实现了HA。rac解决什么问题1.高可用性:自动切换、负载均衡2.高性能:多实例、更多连接、并发执行3.高扩展:不停机扩展节点。怎么实现的组成3个层级:集群软件:集群管理,节点增删、心跳、同步;包括2个组件:表决磁盘、集群注册服务。rac数据库软件:提供数据库实例;rac数据库...原创 2020-03-19 00:13:15 · 5931 阅读 · 0 评论 -
网络存储都是啥?DAS、NAS与SAN
个人总结类型概念优劣使用场景DASDirect-Attached Storage,直连式存储。与直接在服务器上插快硬盘性质一样。只是扩展方式通过了特殊的连接线,连接的设备扩展成了存储设备优点是突破了服务器插口的限制,性能高,不足是单服务器专享,不能灵活分配个人工作站、视频编辑等需要高速、大容量的存储场景NASNetwork-Attached Storage,...转载 2020-02-03 20:13:58 · 436 阅读 · 0 评论 -
Oracle数据库备份与还原1:RMAN基本用法
1 相关基本概念归档归档开启:在mount状态下开启归档:alter database archivelog;ps:归档有些信息要写入到controlFile,所以要在mount(加载了controlFile后)修改。归档是数据库级变动。归档开启后,归档日志不会自动删除,要注意在rman脚本里删除,否则引起数据库hang。可通过rman删除归档日志rman>cross...原创 2019-11-28 20:18:17 · 713 阅读 · 0 评论 -
Oracle rman中restore和recover的区别
在Oracle的备份与恢复的知识点中,经常会出现Restore 和 Recovery两个词。由于这两个词在字典中的解释很接近,困扰了我很久。直到我在Oracle的官方文档中看到了以下解释。Restoration:A corrupted data file is overwritten from a backup of the data file .The data file is at a p...转载 2019-11-26 16:16:04 · 251 阅读 · 0 评论 -
Hive实验5:查看Hql执行计划及关键步骤说明
1、查看执行计划方法语法:explain [extended] Hiveql;/*例子:*/explain select count(distinct mobilename) from testtab_small; 2、执行计划基本要素主要步骤及依赖关系,从上到下各主要步骤关键信息,包括:关键信息关键字说明Map或reduce操作Map Operator...原创 2019-09-04 15:24:54 · 5100 阅读 · 1 评论 -
MySql存储过程快速上手
概述适合有一定数据库基础的人员用来快速掌握mysql的sp基本语法、逻辑控制、异常处理包括与Oracle数据库用法的对比,加深理解和记忆包括一个完整的存储过程示例1、基本语法变量定义:必须declare 开头,默认值default关键字。eg:declare a,b int default 5;变量赋值:set a=5;while循环:while do end while。...原创 2019-05-07 10:44:27 · 124 阅读 · 0 评论 -
MySql各版本新特性
mysql5.5开始各版本升级内容5.6新特性:最新版5.6.44(2019-4-25发布),里程碑版本,生产使用最多。1)安全增强:sha256更强的用户密码加密;密码安全策略;修改登录记录,密码不在明文记载在general、bin、slow log里2)参数默认值更改3)innodb增强:增加全文检索;online DDL(DDL不阻塞DML操作);单独表空间,可以把热表放到SSD;...原创 2019-05-05 16:31:29 · 1377 阅读 · 0 评论 -
MySql中动态sql和会话变量的使用
1、概述版本:MySql5.1.56-log1.1背景工作中,需要使用动态Sql给变量赋值,但MySql(这个版本)里不支持。变通的使用了会话变量(@x)中转传递。测试中发现,第一次正常后,后续错误条件下也能取到正常值。这是一个严重的bug。检查发现,错误条件下,没有把上次的会话变量重置,返回时直接返回了上次的结果。是对MySql的会话变量理解的不透彻导致。1.2主要内容动态s...原创 2019-05-07 16:31:48 · 1463 阅读 · 0 评论 -
使用MySql遇到的问题集合:引擎、sqlstate、默认commit等
engine=innodb;&:存储引擎,mysql支持多种存储引擎:innodb 传统的rdbms,支持事物、行锁、外键memory 内存存储,适应变化不大的表、作为中间的查询表MyISAM 不支持事物,操作锁定整张表,保存了行数,高速检索、全文检索快,使用大量select操作的表,如日志表。注意;可针对不同的表使用不同的存储引擎。太棒了!CREATE TABLE ...原创 2019-05-07 16:54:14 · 161 阅读 · 0 评论 -
HBase实验1:Java API读写HBase
概要1)如何获取hbase的连接信息&:hbase的连接信息类似jdbc地址,可通过配置文件,也可写在程序里。写在程序里:Configuration conf=HBaseConfiguration.create();conf.set(“hbase.zookeeper.quorum”,“127.0.0.1”);通过固定位置的配置文件conf.addResource(new P...原创 2019-07-24 11:36:35 · 1544 阅读 · 0 评论 -
Hive实验2_表管理:内部表、外部表、加载导出数据
1、概述要理解Hive中的表,要回溯到Hive的性质。Hive实质是转换器,接收用户输入的类SQL语句,转换成MapReduce作业,类似rdbms的引擎。根本内容还是HDFS和MapReduce作业。所以:表是对HDFS目录的映射,特别类似Oracle的外部表表的创建是在HDFS上创建目录,并在元数据里添加了映射表数据加载、导出就是目录文件的移入、移除。2、内部表 crea...原创 2019-08-23 16:35:01 · 317 阅读 · 0 评论 -
MySQL-8免安装版配置
1.解压免安装包压缩包可从官网下载。2.配置文件在mysql的base目录下创建配置文件,内容如下:[mysqld]# 设置3306端口port=3306# 设置mysql的安装目录basedir=D:\mysql-8.0.13-winx64# 设置mysql数据库的数据的存放目录datadir=D:\mysql-8.0.13-winx64\Data# 允许最大连接数max...原创 2019-01-16 16:01:42 · 253 阅读 · 0 评论 -
Hive实验3:Hql中的order by与sort by
1、概述[sort by] 是Hql特有的语句,同时Hive也支持rdbms的 [order by]。[sort by] 是局部排序,[order by]是全局排序。ps:还是要回到MapReduce的本质。MapReduce是分治并行,如果数据在多个子任务中执行,则结果只能保证每个任务内排序有效,总结果的每个任务间不保证有序。1.1 对应MapReduce解决方案问题:如何保证整体有序...原创 2019-08-27 11:36:26 · 713 阅读 · 1 评论 -
图数据库——大数据时代的高铁
《程序员》原创文章,未经允许不得转载,更多精彩文章请订阅《程序员》如果把传统关系型数据库比做火车的话,那么到现在大数据时代,图数据库可比做高铁。它已成为NoSQL中关注度最高,发展趋势最明显的数据库。简介在众多不同的数据模型里,关系数据模型自20世纪80年代就处于统治地位,而且出现了不少巨头,如Oracle、MySQL和MSSQL,它们也被称为关系数据库管理系统(RDBMS)。然而,随着关系数据...转载 2019-08-29 14:54:01 · 404 阅读 · 0 评论 -
越来越火的图数据库究竟是什么?
随着社交、电商、金融、零售、物联网等行业的快速发展,现实社会织起了了一张庞大而复杂的关系网,传统数据库很难处理关系运算。大数据行业需要处理的数据之间的关系随数据量呈几何级数增长,亟需一种支持海量复杂数据关系运算的数据库,图数据库应运而生。世界上很多著名的公司都在使用图数据库。比如:社交领域:Facebook, Twitter,Linkedin用它来管理社交关系,实现好友推荐零售领域:eB...转载 2019-08-29 15:32:50 · 142 阅读 · 0 评论 -
MySql基础_1基本用法
1、安装配置略。2、创建用户root用户登录mysql -u root -p创建用户CREATE USER 'sky'@'localhost' IDENTIFIED BY 'password';GRANT ALL PRIVILEGES ON *.* TO 'sky'@'localhost' WITH GRANT OPTION;#Host:表示可从哪里连入;localhost表只...原创 2019-05-05 15:55:56 · 103 阅读 · 0 评论