weixin_41561946的博客

原创 花了几个小搞定一条错误SQL带来的思考

项目背景

原创 oceanbase日志文件分类与常用视图

日志文件分类常用视图

原创 少了索引，向表中插入数据突然慢了几百倍

背景最近一个千万级的普通表，经常需要通过delete方式删除7天以前的数据，删除效率特别低，后面将该改表转化成按天创建的分区表，方面高效的删除数据，结果还是出现了一意外，少建了一个索引导致入库时慢了几百倍。问题描述研发反应的入库非常慢，去count这个分区表时确实慢，基本上是一秒一条记录。排查思路1、查看表上是否有触发器、序列2、检查该SQL语句以及其执行计划获取sql idselect * from v$sql where sql_text like '%表名%'根据SQL ID查看执

原创 数据库性能测试大纲

数据库性能测试大纲目录引言 31.1. 测试意义 31.2. 测试目的 3测试工具介绍 32.1. Stress 32.2. Fio 32.3. Sysbench 32.4. Hammerdb 4服务器性能测试 43.1. 内存测试 43.2. CPU测试 43.3. 主板测试 43.4. 测试总结报告 4存储性能测试 54.1. 随机写测试 54.2. 随机读测试 54.3. 顺序写测试 54.4. 顺序读测试 54.5. 混合读写测试 54.6. 测试总结报告

原创 Centos7.4安装oracle11.2.0.4出现的问题

1、通过vnc方式，执行./runInstaller时无法调出图化窗口原因：通过vnc远程连接的，设置display的窗口号时，需要与vnc一致。export DISPLAY=:1.02、通过vnc方式，执行./runInstaller时，弹出的对话框显示不全/u01/database/database/runInstaller -jreloc /etc/alternatives/jre_1.8.0...

原创 oceanbase高可用、合并异常处理思路

原创 oceanbase转储知识总结

原创 oceanbase合并知识点总结

知识点大纲

原创 mysql常见错误之ERROR 1290、1840

前言：重装mysql5.7.26数据库后，在修改root密码和导入数据时分别了error 1290,1840两个错误，特此记录一下处理过程错误码1：ERROR 1290ERROR 1290 (HY000): The MySQL server is running with the --skip-grant-tables option so it cannot execute this statementmysql> alter user ‘root’@’%’ identified by ‘ro

原创 oceanbase主要内存组成部分

内存的组成系统内存observer内存memory_limitmemory_limit_percentage公共内存system_memory租户内存memory_limt/memory_limit_percentage-system_memory内存的查看show parameter like ‘memory%’show parameter like ‘system%’show parameter like ‘memstore%’select * from vmemstore/g

原创 国产分布式数据库OCEANBASE之物理架构篇

前言目前国产化数据库可谓是百花齐放，主要有基于pg系列的金仓、瀚高、华为guass200等数据库,基于mysql系列的gbase8a,tidb, ai adb,DSQL数据库，当然还有其他自研或二次开发的其他数据库，这里就不一一列举。其中oceanbase就是一款从0到1自研的数据库，最近社区的也非常火热，为了提高自己的竞争力，于是决定从头开始学习它。物理架构总结...

原创 linux十大常用命令之vmstat详解

背景最近看到好多linux命令，对其参数既熟悉又陌生，但让自己一个个解释又不太清楚具体的含义，遇到这种情况，往往都是问度娘，搜出来的文章对于一些具体参数解释的还是有出入，于是自己写一系列文章单独记录一下，方便后面查阅，下面就从vmstat开始vmstat的作用vmstat命令是最常见的Linux/Unix监控工具，属于sysstat包，通过该命令可以查看服务器处理器、内存、交换分区、系统IO、系统信息、cpu使用情况，帮助我们排查系统性能问题。vmstat参数解释通过man vmstat查看该命令

原创 oracle expdp导出之query转义问题

背景需要从一个分区表中拉取一部分数据到另外一个库，实现的方式有很多，这里采用expdp的query功能来实现，基于日期时间过滤时，发过过虑策略不生效。遇到的问题[oracle@testoracle ~]$ expdp test/sgtest2016 directory=impdp_dir dumpfile=qxfx_ssqx.dmp tables=(‘tt’) QUERY='tt:“WHERE sjsj<to_date(‘2021-01-01 00:00:00’,‘yyyy-mm-dd HH24

原创 双网卡绑定遇到的问题记录

项目背景机房搬迁后，所有的服务器都是需要进行双网卡绑定才能入网。虽然双网卡绑定较为简单，但还是出现一些小插曲，所以特此记录一下。双网卡配置目前我们所使用的操作系统主要为分两个版本：centos/redhat6和centos/redhat7，配置方式和过程一致，都采用bond方式来配置和管理，以就是两个版本的配置案例。[root@yjgkserver26 network-scripts]# cat /etc/modprobe.d/dist.confalias bond0 bondingoption

原创 chown改变目录的所有者、所属组失败的诡异问题

项目背景oracle数据库所在的磁盘分区使用已满，新数据无法入库，需要将一部分数据文件移动到另一个磁盘分区中，但在新数据文件目录赋权时，改变目录的所有者、所属组没有生效，在此记录一下系统环境redhat6.4+ oracle 11.2.0.4sda1是操作系统和数据库使用的目录sda3是数据库的备份目录，挂载在/backup目录下准备在将sda1上一部分数据文件迁移到sda3中操作方式chown -R oracle:oinstall /backup/sid/datafile通过ls -l

原创 运行sqoop1.4.5报Warning: does not exist! HCatalog jobs will fail.

软件版本sqoop.1.4.5hadoop.2.10.1报错信息[root@hadoop0 ~]# sqoop helpWarning: does not exist! HCatalog jobs will fail.Please set $HCAT_HOME to the root of your HCatalog installation.Warning: does not exist! Accumulo imports will fail.Please set $ACCUMULO_

原创 大数据迁移工具之sqoop

什么是sqoopSqoop is a tool designed to transfer data between Hadoop and relational databasessqoop环境要求1、需要hadoop环境2、Sqoop 1.4.5 supporting 4 major Hadoop releases - 0.20, 0.23, 1.0 and 2.0安装sqoop常用命令mysqlsqoop import --connect jdbc:mysql://database.exa

原创 基于JAVA API访问HBASE的基础操作

1、系统环境基于HADOOP2.10.1部署的HBASE2.3.4集群2、实现代码package com.lineqi.hbase;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.util.Bytes;import java.io.IOExc

原创 使用数据仓库HIVE遇到的几个坑

软件版本hive1.2.2遇到的问题1、insert overwrite导出数据时，需要指定一个不存在的目录，否则可能会清空已存在目录下的所有内容。2、对于参与计算的字段排序时，需要使用别名进行排序，而不能使用参与计算的字段。例如：select ‘F’ as sex,b.moviename,count(b.moviename),avg(c.rate)from t_rating c ,t_user a,t_movie bwhere c.userid=a.userid and c.movieid

原创 大数据HIVE常用操作命令

1、 创建内部表create database if not exists test ;use test;create table test(id int,name string) row format delimited fields terminated by “,”;2、创建外部表（1）使用默认的仓库路径create external table test_ext_2(id int,name string) row format delimited fields terminated by

原创 磁盘rejecting I/O to offline device故障导致4TB生产数据库无法访问

1、项目背景2、故障描述Jan 31 03:47:03 test-db-2 kernel: sd 1:2:0:0: rejecting I/O to offline deviceJan 31 03:49:47 test-db-2 kernel: sd 1:2:0:0: rejecting I/O to offline deviceJan 31 03:49:47 test-db-2 kernel: sd 1:2:0:0: rejecting I/O to offline deviceJan 31 0

原创 新手写hadoop代码遇到的UnsatisfiedLinkError、IO、FileNotFoundException问题

系统环境window10 64位+hadoop 2.10.1 +IntelliJ IDEA 2020.3.1 x64说明：在对文件里的内容进行统计时，接连报了好几个问题，搞到凌晨1点多都没有解决好，求一个新手的心里阴影面报错信息1、FileNotFoundExceptionCaused by: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset

原创 如何从数据库层面统计每天业务数据的增长量？

背景最近接入了很多业务数据，想统计一下每天的业务数据增长量以便明年数据库服务器的事情。以oracle数据库为例，有只需要统计大概的数据量即可，当然越准确越好，有哪些方式可以实现呢？ 如果是其他数据库如何统计呢？比如postgresql,mysql...

原创 OGG-01431、01003、01151无奈的处理方式

系统环境oracle11.2.0.4+ogg12.2.0.1，目标库（备库）在应用源库的日志时报错了报错信息Reading dirdat/dp000005281, current RBA 468329501, 0 records, m_file_seqno = 5281, m_file_rba = 4683295012021-01-21 08:35:53 WARNING OGG-01431 Aborted grouped transaction on ‘GK.T_GK’, Mapping err

原创 OGG12处理OGG-01163故障错误

2021-01-20 18:15:36 ERROR OGG-02247 Failed to read SOURCEDEFS file ./dirdef/pms.defgen: Could not open ./dirdef/pms.defgen: No such file or directory.[oracle@yjgk-db-2 ogg_12]$ scp /home/yjgk5/ogg_12/dirdef/tables.def .29:/home/oracle/ogg_12/dirdefER

原创 hadoop读写原理

hadoop读原理第一步:客户端向namenode发起下载test.txt的请求。第二步：namenode返回该test.txt的元数据信息。第三步：客户端与test.txt文件块的所在的datanode建立连接通道第四步：以数据包的形式从每个datanode上读取数据块第五步：客户端将接收到所有数据块合并成一个完整的文件。hadoop写原理第一步:客户端向namenode发起建立连接的请求。第二步：namenode检查权限并响应。第三步：客户端发送第一个数据块并请求namenode返

原创 hadoop的三大机制介绍

背景最近在学习大数据hadoop篇， 为了提高学习效率、巩固学习成果，特此记录一下。心跳机制心跳机制：datanode每隔一个固定时间会与namenode进行一次通信，以证明自己是alive同时让namenode知道集群中有多少datanode属于存活状态以及各副本与数据块的分布情况datanode每隔一个固定时间要发送一个心跳数据包给namenode，如果隔了一段时间namenode没有收到datanode的心跳数据包，那么namenode必须按照一个标准来判断datanode是否真正down了

原创 Idean maven工程加载hadoop2.10.1 jar包失败

系统环境IntelliJ IDEA 2020.3.1Maven3.6.3hadoop 2.10.1相应配置导入的maven pom.xml文件内容如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:

原创 hadoop通过API接口读写文件篇

背景为了转岗，最近在学习大数据，特此记录一下学习过程与写代码时的一些简单思考。代码package com.lineqi.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.yarn.api.records.URL;import java.io.FileInputStr

原创 log file switch(checkpoint incomplete)导致OGG同步延迟38个小时

项目背景基于TB级生产库搭建一套OGG备库，每天的日志量在200G左右，最近发现经常出现同步延迟几十个小时，搞得有点烦，特此记录一下处理过程。系统环境oracle 11.2.0.4+ogg12.2.0.1.0延迟现象GGSCI (cluster-10-176-50-29 as ogg@yjgk2) 169> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUN

原创 OGG源与目标表结果不一致，报OGG-01161错误

系统环境oracle11.2.0.4+OGG12.2.0.1.0错误信息ERROR OGG-01161 Bad column index (73) specified for table SC.T_SB_CZZ, max columns = 73.详细错误信息2021-01-09 02:26:28 INFO OGG-02759 The definition for table SC.T_SB_CZZ is obtained from the target database.20

原创 因大表无索引致ogg同步延迟几十小时

系统环境oracle 11.2.0.4+ogg12.2.0.1.0延迟现象GGSCI (cluster-10-176-50-29 as ogg@yjgk2) 169> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGREPLICAT RUNNING REP_PS1 14:27:09 00:00:57REPLICAT

原创 oracle表空间的使用率，你统计对了吗？

select tablespace_name,round(total_space_mb)||‘M’ total,round(free_space_mb)||‘M’ free,round(total_space_mb-free_space_mb)||‘M’ used,round(100*(total_space_mb-free_space_mb)/total_space_mb) used_percent from (selectdecode(t.tablespace_name,null,y.tablesp

原创 oracle执行expdp过程中，ctl+c遇到的坑

背景基于oracle11.2.0.4生产库搭建OGG镜像库，使用expdp来做数据初始化操作，想提前测试一下expdp导出所用时间场景描述1、基于expdp导一张10GB的业务表，结果没有写tables参数，导致将整个schema下的数据都导出。后发生不对，立即执行了ctl+c ，接着输入exit退出expdp。2、第2执行带tables参数的导出，数据正常被导出。遇到的问题第一步导出操作还在执行，整个库1.3TB，整个挂载的磁盘空间只有1TB总结与思考1、为了什么ctl+c，输入exit后

原创 oracle merge单条记录遇到的诡异速度

系统环境oracle 11.2.0.4+时间范围分区表问题描述按时间范围创建的分区表，最小时间分区里的存储一个月的数据，对该分区表内的记录进行一条语句的merge操作，执行时间相差千倍之多。

原创 oracle,postgresql实现行转列显示

项目背景今天开发人员要生成业务报表，应有的数据格式如下测试数据希望等到如下结果生成结果说明：总合格率这一列不用考虑实现，使用oracle花了两个多小时才实现。大家需要花多少时间呢，对postgresql感兴趣的朋友，可从花时间试试？...

原创 在oracle中如何使用正确的姿势删除近亿级大表中的业务数据

项目背景今天业务方要求对某张近亿级的大表只保留今年的业务数据，今年以前的业务数据全部删除，不再使用。系统环境oracle11.2.0.4 两台单节点ADG，主库对我司自己的微应用提供读写，备库对其他业务单位的应用提供读访问，备库上坏了一块磁盘，备库同步经常出现延迟。目前该业务表今年的数据只有1200万条记录，总记录8000多万。实现方式1、批量多次少量删除业务数据2、重新创建一张业务表A，将B表今年的业务数据插入到该新表中，将B表rename B_bak，将A表rename B.两个方式对比

原创 postgresql安装system_stats插件

system_stats功能用途system_stats插件有一些功能函数组成，可以用于监控系统的cpu、磁盘、IO、内存、网络、进程、操作系统信息。system_stats下载地址https://github.com/EnterpriseDB/system_stats/releases/tag/v1.0system_stats安装[postgres@lineqi ~]$ cat .bash_profile# .bash_profile# Get the aliases and functi

原创 大事务导致OGG复制进程延迟几个小时

系统环境源和目标数据库都是oracle11.2.0.4OGG:12.0.1遇到的问题问题分析与处理参考资料OGG/LOGDUMP:https://www.ateam-oracle.com/loren-pentonlogdump:http://blog.itpub.net/25174901/viewspace-2121452/

原创 postgresql wal_log日志文件堆积案例复现

项目背景某工程中一个分系统使用了一套postgresql数据库，正常运行了大半年，前两天运维人员发现数据库使用的磁盘空间只剩15%了，因该分系统所有产生的业务数据量只保存最近一个月的，正常情况下磁盘剩余空间会维护在50%左右。现将问题排查过程记录如下:问题分析1、备份冗余复本删除失败了已排除2、接入了新数据导致数据库的数据量增加与项目负责人沟通和对比数据库大小后，已排除。3、调整了系统参数如wal_keep_segments,checkpoint_timeout系统参数没有进行额外调整，因对