云计算、数据库、大数据、容器、微服务、深度学习、NLP、Python

MongoDB使用集合（Collections）来组织文档（Documents），每个文档都是由键值对组成的。文档（Document）：集合中的一个数据记录，类似于关系型数据库中的行（row），以 BSON 格式存储。集合（Collection）：数据库中的一个集合，类似于关系型数据库中的表。MongoDB 是一个文档型数据库，数据以类似 JSON 的文档形式存储。数据库（Database）：存储数据的容器，类似于关系型数据库中的数据库。

待更新。

列式存储：数据以列进行存储，同一列的所有数据连续存放，不同列数据分开存储，在读取数据时，只需要从磁盘读取所需的列，而不需要读取整行数据，减少I/O开销，列存每列数据类型相同，列存能够更有效地进行数据压缩，降低存储空间占用，写性能相比行存较低，行式存储：数据以行进行存储，同一行所有字段值紧密地存储在一起，在读取多个列的少数几个列记录时，会同时加载扫描不需要的冗余列数据到内存中，对于需要一次性获取一整行的数据查询时，行存查询会比较好。行式存储 列式存储区别：主要区别是如何在磁盘上组织和存储表中的数据。

重放 row_log 中的操作到 new_table 的索引上（not-rebuild 数据是在原表上更新）。MySQL 使用 inplace 算法时，会自动判断，能使用 not-rebuild-table 的情况下会尽量使用，不能的时候才会使用 rebuild-table。MySQL 会建立一个新的临时表，把源表的所有数据写入到临时表(将原表数据拷贝到临时表（无排序，一行一行操作)，在此期间无法对源表进行数据写入,MySQL 在完成临时表的写入之后，用临时表替换掉源表，新建临时表存储空间会增加一倍。

待更新。

待更新。

待更新。

hgetall命令在redis里面是偏高危的命令，如果一个哈希包含大量的字段和值，使用 HGETALL 命令检索整个哈希，Redis 集群通过分片技术将数据分布在不同的节点上，每个键都会根据其哈希值被分配到一个特定的槽，在执行hgetall的时候会在Proxy层做汇聚，就可能导致慢了。

待更新。

待更新。

待更新。

1.从库wal日志大量堆积。

1,开启2,策略3,重写策略4,恢复原理。

1、源端添加表级附加日志GGSCI (primary) 5> dblogin userid ggs password XXXXXXSuccessfully logged into database.GGSCI (primary) 6> add trandata test.*(将该用户下所有表添加表级附加日志)GGSCI> add trandata test.*源端添加...

问题描述ORA-00313: open failed for members of log group 11 of thread 1ORA-00312: online log 11 thread 1: ‘/u01/fra/HUOYING/onlinelog/o1_mf_11_gflf98y4_.log’ORA-27037: unable to obtain file statusLinux...

select pro.pid,pro.spid,pro.username from vsessionses,vsession ses,vsessionses,vprocess pro where ses.sid=&522 and ses.paddr=pro.addr;oradebug setorapid 18Using the Oracle process identifier:or...

依赖对象–select * from dba_dependencies where name=upper(‘ORDER’);no rows selected–select * from dba_dependencies where REFERENCED_NAME=‘BANK_PRE_PAY_ORDER’;OWNER NAME TYPE REFERENC...

以快照方式打开数据库stop日志应用>>alter database recover managed standby database cancel;检查闪回是否已打开，FLASHBACK_ON为NO，表示没有打开>>select flashback_on,database_role,open_mode from v$database; FLASHBAC...

select thread#,SEQUENCE#,REGISTRAR,APPLIED,to_char(first_TIME, ‘yyyy-mm-dd-hh24:mi:ss’),to_char(COMPLETION_TIME, ‘yyyy-mm-dd-hh24:mi:ss’)from v$archived_logorder by first_TIMe;1 544 ARCH ...

NOTE:469493.1 - Step By Step Guide To Create Physical Standby Database Using RMAN Backup and RestoreNOTE:1075908.1 - Step by Step Guide on Creating Physical Standby Using RMAN DUPLICATE…FROM ACTIVE D...

select *from (select SEGMENT_NAME TABLE_NAME,sum((BYTES) / (1024 * 1024 * 1024)) “TABLE(GB)”,owner,SEGMENT_TYPE,TABLESPACE_NAMEfrom DBA_SEGMENTSwhere SEGMENT_TYPE like ‘TABLE%’group by SEGMENT...

1、创建DB_LINKcreate public database link irtp_to_itunesdg3 connect to ICARDP identified by passwd using ‘itunesdg3’;2、创建物化视图之前要创建相应的物化视图日志SELECT constraint_name, table_name,CONSTRAINT_TYPE FROM all...

查看oracle参数是静态或者是动态select name,value,ISSYS_MODIFIABLE from v$parameter where ISSYS_MODIFIABLE =‘IMMEDIATE’ order by name ;–动态参数select name,value,ISSYS_MODIFIABLE from v$parameter where ISSYS_MODIFIAB...

DGMGRL> disable FAST_START FAILOVER;Disabled.DGMGRL> SHOW CONFIGURATION;sys@LIMING> show parameter dg_broker_config_fileNAME TYPE VALUEdg_broker_config_file1 string /u01...

[root@ca-test1 /]# /etc/init.d/oracleasm configureConfiguring the Oracle ASM library driver.This will configure the on-boot properties of the Oracle ASM librarydriver.The following questions will d...

方案：选择同一网段，不同ip地址需求：需要网络工程师规划两组ip（一组用于备库rac，另一组用于修改ip时，将报表库的ip替换出来,本次迁移建议不做私有ip的修改)-------------------------------------------------------------------以一节点修改public ip实验测试------------------------------...

概述：根据公司业务需要，经常会有历史数据迁移清理的工作，当表是分区表是，比较方便，但是如果不是分区表，经常使用delete操作，但是delete数据库量大，会遇到很慢，有时会导致数据库出现问题，甚至可能出现锁的问题，所以一般采用存储过程批量提交删除的方法：如下为存储过程内容create or replace procedure pro_del isv_i number := 0;begin...

查表主键列select cu.*from dba_cons_columns cu, dba_constraints auwhere cu.constraint_name = au.constraint_nameand au.constraint_type = ‘P’and au.table_name = ‘REQUEST’;查表约束类型：select table_name, cons...

分布式一致性问题假如现在有一个单节点的系统，可以假设这个 节点 是一个数据库，并且存储了一个数值（x），然后，我们还有一个客户端，它可以操作数据库修改数值，在这种只有一个节点的情况下，数值达成一致是比较容易实现的，但是，在有多个节点的情况下，如何实现一致呢，这个问题就是所谓的 分布式一致性问题，而 Raft算法 就是为了解决分布式一致性问题Raft算法如何工作在Raft算法中，一个节点会在三...

目标主机软硬件配置建议如下：建议 4 台及以上，TiKV 至少 3 实例，且与 TiDB、PD 模块不位于同一主机，详见部署建议目前 TiUP 仅支持在 x86_64 (AMD64) 架构上部署 TiDB 集群（TiUP 将在 4.0 GA 时支持在 ARM 架构上部署）在 AMD64 架构下，建议使用 CentOS 7.3 及以上版本 Linux 操作系统在 ARM 架构下，建议使用 ...

概述TiDB 是 PingCAP 公司设计的开源分布式数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性。TiDB 兼容 MySQL，支持无限的水平扩展，具备强一致性和高可用性TIDB架构图TiDB 特性：高度兼容mysql水平弹性扩展，通过简单地增加新节点即可实现 TiDB 的水平扩展，按需扩展吞吐或存储，轻松应对高并发、海量数据场景。分布式事务，支持标准的 ACID ...

---------------------------------------------------redis安装--------------------------------------------安装环境介绍：操作系统：CentOS release 6.8redis软件版本：4.0.8部署方式：单机1、到官网下载版本redis-4.0.8.tar.gz2、规划安装目录及数据目录（本次安装在/usr/local/redis/)3、解压redis-4.0.8.tar.gz到/usr/lo

Innodb存储引擎有多个内存块，可以认为这些内存块组成了一个大的内存池，负者如下工作：维护所有进程/线程需要访问的多个内部数据结构，缓存磁盘上的数据，方便快速的读取，同时在对磁盘文件的数据修改之前在这里缓存，重做日志的缓存等后台线程主要负责刷新内存池中的数据，保证缓冲池中的数据是最近的数据，此外将已修改的数据文件刷新到磁盘文件，通过保证数据库发生异常的情况下InnoDB能恢复发哦正常运行状态后台线程InnoDB存储引擎是多线程模型，因此其后台有多个不同的后台线程，负责处理不同的任务Ma.

程序的请求会通过mysql的connectors与其进行交互，请求到处后，会暂时存放在连接池（connection pool)中并由处理器（Management Serveices & Utilities）管理。当该请求从等待队列进入到处理队列，管理器会将该请求丢给SQL接口（SQL Interface）。SQL接口接收到请求后，它会将请求进行hash处理并与缓存中的结果进行对比，如果完...

背景随着零售门店数量的增长，库存表，优惠劵表，消息表，订单表数据量不断的增多，目前一主（写）多从的MySQL 架构难于支撑公司业务的爆发式增长调研前期在于重点解决 MySQL 的单机性能和容量无法线性和灵活扩展的问题，与 MySQL 形成互补。最终选择了 Mycat，在调研阶段，对以下技术特性进行了重点考虑：协议兼容 MySQL支持 SQL 92标准可在线扩展支持读写分离，支持My...

什么是分库分表分库分表是指把数据库中数据地址拆分到多个实例或多台服务器上如何拆分垂直切分垂直分表：对于大表，根据表的字段业务关联性，将大表拆分成多个表，这样既能使业务清晰，还能提升部分性能。垂直分库：一个库下如果有多个业务，可以把多个表按业务关联归类，分别存放在不同的库，这些库可以分布在不同服务器，从而使访问压力被多服务器负载，大大提升性能，水平切分水平分表：可以把一个数...

XtraBackup是基于crash-recovery的机制完成备份的，

mysql高可用MHA的原理该软件由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）,MHA Manager作为管理节点，可以单独部署在一台独立的机器上或其中一个slave节点上,MHA Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，...

Mon Dec 31 21:52:38 2018 - [warning] Got error on MySQL select ping: 2006 (MySQL server has gone away)Mon Dec 31 21:52:38 2018 - [info] Executing SSH check script: save_binary_logs --command=test --s...

环境mysql版本：5.7.29端口：3306192.168.57.200 主192.168.57.100 从1192.168.57.120 从2192.168.57.121 从3创建测试库及表Create Table: CREATE TABLE ts (id int(11) DEFAULT NULL);insert into ts values(1)从2：...