关注
分享
回到未来望过去
oracle性能20年研究（saa批量自动优化分析，job、expdp的undo、temp内部运行机制等）
自行开发设计ssi平台（支持vpd）
自行开发设计pythonQT管理平台（系统监控、导出xls、常用字典、常用sql，日常运维sql（支持参数化））应用formysql，fororacle，fordm
python工具应用：工作量化监控mail日报，ogg监控日报（让领导发现问题），pyforweblogic监控自动重启
pyformysql数据外挂（降低mysql华为云性能峰值），py推荐算法落地社保
E-mail:[email protected]
展开
-
dblab-VirtualBox的nat配置
主机hostnat启动后root@dblab-VirtualBox:~# ifconfigenp0s3 Link encap:以太网 硬件地址 08:00:27:7e:4f:bc inet 地址:10.0.3.100 广播:10.0.3.255 掩码:255.255.255.0 inet6 地址: fe80::51da:7544:23ed:c974/64 Scope:Link UP BROADCAST RUN..原创 2022-04-12 14:17:36 · 216 阅读 · 0 评论 -
Ubuntu 开启Mysql 3306端口远程访问
1. 查看3306端口是否正常root@node1:~# netstat -an | grep 3306tcp 0 0 127.0.0.1:3306 0.0.0.0:* LISTEN注意：现在的3306端口绑定的IP地址是本地的127.0.0.12. 修改Mysql配置文件（注意路径，跟之前网上的很多版本位置都不一样）root@node1:~# vim /etc/mysql/mysql.conf.d/mysql...转载 2022-04-12 11:58:54 · 4437 阅读 · 2 评论 -
mysql慢sql的log解析
for %%a in (*slow.log) do E:\MySQ5.7\bin/mysqldumpslow.pl -t 20 -s c %%a >%%a.fxc.logfor %%a in (*slow.log) do E:\MySQ5.7\bin/mysqldumpslow.pl -t 20 -s r %%a >%%a.fxr.logrem for %%a in (*slow.log) do E:\MySQ5.7\bin/mysqldumpslow.pl -t 10 -s t %%a &原创 2022-01-18 10:11:51 · 601 阅读 · 0 评论 -
阿里云mysqk一键batchtool到oracle；目前最快速度
利用oracle的spool生成脚本，然后批处理调用，ctl.sqlset feed offset echo offset head offset verify off set linesize 4000spool &&1..batselect 'java -jar batch-tool.jar -h 127.0.0.1 -u poldb -p polcb@111243 -P 23306 -D polcent_db -o export -t &&a.原创 2022-01-06 09:00:51 · 507 阅读 · 0 评论 -
oracle的表ctrl+c v到mysql的navicat用法
直接选择出现的都是oracle-oracle的结构同步或者数据同步；oracle选中表，然后到mysql ctrl+v即可弹出向导框原创 2022-01-04 15:17:10 · 476 阅读 · 0 评论 -
oracl到MySQL的batchtool+sqluldr2快速迁移
E:\mysqldata\downdatamysql>sqluldr2 hsa_ [email protected]. b1 query="select * from PSN_INFO_SYNC_FAIL_RCD_B " buffer=1000MB safe=yes fast=YES mode=APPEND file=PSN_INFO_SYNC_FAIL_RCD_B.csv batch=yes rows=3000000 field="0x09" 0 rows exported at 202.原创 2022-01-04 10:47:34 · 315 阅读 · 0 评论 -
sqlldr的ctl文件字段部分生成脚本
select column_name || decode(data_type, 'DATE', ' date ''yyyy-mm-dd hh24:mi:ss''') || ',' from user_tab_cols where table_name = 'PSN_INFO_B' order by column_id ;原创 2022-01-04 09:40:57 · 315 阅读 · 0 评论 -
阿里云mysql的batchtool限定一个导出文件，引号tab格式
chcp 936java -jar batch-tool.jar -h 127.0.0.1 -u basinfocent_db -p basinfocent_db@543097 -P 8306 -D basinfocent_db -o export -t psn_info_b -s " " -readsize 1000 -quote force -np -cs gbk -F 1pause原创 2022-01-04 09:23:49 · 445 阅读 · 0 评论 -
mysql千万表导出导入oracle的最快方案，不要提datax啊
1、导出chcp 936java -jar batch-tool.jar -h 127.0.0.1 -u basinfocent_db -p basinfocent_db@543097 -P 8306 -D basinfocent_db -o export -t psn_info_sync_fail_rcd_b -s " " -w " 1=1 limit 10 " -np -readsize 1 -quote force -parapause2、处理一下导出null的\N需要替换掉原创 2022-01-03 15:39:38 · 558 阅读 · 0 评论 -
阿里云mysql的batchtool的\t导出
chcp 936java -jar batch-tool.jar -h 127.0.0.1 -u basinfocent_db -p basinfocent_db@543097 -P 8306 -D basinfocent_db -o export -t psn_info_sync_fail_rcd_b -s " " -w " 1=1 limit 10 " -np -readsize 1 -quote force -parapause-s 后面的\t用引号引起来，试了半天\t \u...原创 2022-01-03 14:05:14 · 263 阅读 · 0 评论 -
阿里云mysql的explain execute结果分析
Using filesortMySQL有两种方式可以生成有序的结果，通过排序操作或者使用索引，当Extra中出现了Using filesort 说明MySQL使用了后者，但注意虽然叫filesort但并不是说明就是用了文件来进行排序，只要可能排序都是在内存里完成的。大部分情况下利用索引排序更快，所以一般这时也要考虑优化查询了。使用文件完成排序操作，这是可能是ordery by，group by语句的结果，这可能是一个CPU密集型的过程，可以通过选择合适的索引来改进性能，用索引来为查询结果排序。Us.转载 2022-01-01 22:16:55 · 245 阅读 · 0 评论 -
阿里云mysql修改执行计划
执行计划调优实战数据发生变化或PolarDB-X优化器引擎升级后，针对同一条SQL，有可能会出现更好的执行计划。SPM在自动演化时会将CBO优化自动发现的更优执行计划加入到SQL的基线中。除此以外，您也可以通过SPM的指令主动优化执行计划。SELECT *FROM lineitem JOIN part ON l_partkey=p_partkeyWHERE p_name LIKE '%green%';正常EXPLAIN发现该SQL生成的执行计划使用的是Hash Join，并且在Baseline .转载 2022-01-01 22:05:27 · 251 阅读 · 0 评论 -
阿里云mysql的几个hints
loaddatalocalinfile'E:\\mysqldata\\yaopinmuludelete.txt'intotable`polcent_db`.`yaopinmuludelete`characterset'utf8'fieldsescapedby'\\'terminatedby'\t'linesterminatedby'\r\n'ignore1lines(`国家药品编码`)/*+TDDL:EXECUTOR_MODE=MPPMPP_P...原创 2021-12-31 09:59:45 · 335 阅读 · 0 评论 -
阿里云的mysql的explain
EXPLAIN {LOGICALVIEW | LOGIC | SIMPLE | DETAIL | EXECUTE | PHYSICAL | OPTIMIZER | SHARDING | COST | ANALYZE | BASELINE | JSON_PLAN | ADVISOR} {SELECT statement | DELETE statement | INSERT statement | REPLACE statement| UPDATE statement}mysql> explain转载 2021-12-31 09:16:40 · 155 阅读 · 0 评论 -
阿里云mysql日期时间函数
日期时间函数更新时间：2021-11-30 11:24我的收藏本文介绍了PolarDB-X支持的日期时间函数。支持函数PolarDB-X支持如下日期时间函数： 函数名 描述 示例 ADDDATE(d,n) 计算起始日期d加上n天的日期 SELECT ADDDATE("2017-06-15", INTERVAL 10 DAY); 返回： ->2017-06-25 ADDTIME(t,n) n是一个时间表达式，时间t加.转载 2021-12-31 09:00:40 · 576 阅读 · 0 评论 -
阿里云mysql字符串函数
字符串函数更新时间：2021-12-16 11:21我的收藏本文介绍了PolarDB-X支持及不支持的字符串函数。支持函数PolarDB-X支持如下字符串函数： 函数名 描述 示例 ASCII(s) 返回字符串s的第一个字符的ASCII码 返回CustomerName字段第一个字母的ASCII码： SELECT ASCII(CustomerName) AS NumCodeOfFirstChar FROM Customers; CHAR_转载 2021-12-30 22:44:03 · 116 阅读 · 0 评论 -
阿里云mysql的加密和压缩函数
加密和压缩函数更新时间：2021-11-30 11:26我的收藏本文主要介绍PolarDB-X支持的加密和压缩函数。支持的加密和压缩函数PolarDB-X目前支持mysql 5.7的大部分未过时的加密和压缩函数，具体信息见下表： 函数名 描述 AES_DECRYPT 使用AES算法解密 AES_ENCRYPT 使用AES算法加密 RANDOM_BYTES 返回随机字节向量 MD5 计算MD5 128位校验和 SHA1, SHA转载 2021-12-30 22:37:44 · 296 阅读 · 0 评论 -
阿里云暂不支持的sql
SQL语法使用限制 SQL语法 操作 使用约束 自定义操作 自定义函数 暂不支持。 自定义类型 暂不支持。 存储过程 暂不支持。 触发器 暂不支持。 游标 暂不支持。 视图 支持。 DDL CREATE TABLE ... LIKE ... 暂不支持拆分表。 CREATE TABLE ... SELECT ... 暂不支持拆分表。 RENAME TABLE 暂不支持同时RENAME多表。转载 2021-12-30 16:13:04 · 135 阅读 · 0 评论 -
阿里云的PolarDB-X备份模仿了oracle的数据库恢复到秒的机制
备份类型PolarDB-X的备份由数据备份和日志备份组成。数据备份：系统对数据进行备份，并生成备份集，目前采用的是物理备份。您可以恢复备份集所在时间点的数据。 日志备份：也叫增量备份，备份了记录数据变更的binlog日志。开启日志备份后，基于“数据备份+日志备份”，您可以恢复时间范围内任意时间点（精确至秒）的数据。例如，实例中创建了2021年01月01日00:00:01的数据备份集以及该时间之后的日志，则可以恢复2021年01月01日00:00:01以来任意时间点（精确至秒）的数据。...原创 2021-12-30 15:02:31 · 298 阅读 · 0 评论 -
阿里云查看tddl版本
selectversion();+----------------------------+|VERSION()|+----------------------------+|5.6.29-TDDL-5.4.3-15921942|+----------------------------+原创 2021-12-30 14:22:44 · 91 阅读 · 0 评论 -
阿里云batchtool命令参数
java-jarbatch-tool.jar-?##1.默认导出（文件数等于表的分片数）java-jarbatch-tool.jar-h127.0.0.1-utestUser-ptestPasswd-P3306-Ddb_name-oexport-ttable_name-s,-np -readsize 1 -quote none -para##2.导出文件数=3（-F:指定文件数）java-jarbatch-tool.jar-h127...转载 2021-12-30 14:17:06 · 201 阅读 · 0 评论 -
阿里云5万数据的0.6秒入库batchtool
chcp 936java -jar batch-tool.jar -h 127.0.0.1 -u polcent_db -p -P 6306 -D polcent_db -o export -t yaopinmuludelete -s , -w "1=1" -np -readsize 1 -quote none -parapausechcp 936java -jar batch-tool.jar -h 127.0.0.1 -u polcent_db -p -P 6306 -D polc.原创 2021-12-30 14:12:27 · 322 阅读 · 0 评论 -
阿里云batchtool的SLF4J: Failed toString() 解决办法
C:\Users\viviliving\Desktop\jiangsu\阿里云\batchtool>chcp 936活动代码页: 936C:\Users\viviliving\Desktop\jiangsu\阿里云\batchtool>java -jar batch-tool.jar -h 127.0.0.1 -u polcent_db -p polcent_db_2021 -P 6306 -D polcent_db -o import -t yaopinmuludelete -s ,.原创 2021-12-30 14:06:29 · 962 阅读 · 0 评论 -
阿里云drds的explain正确指令
trace SQLStart trace sql, use show trace to print profiling datatrace select count(*) from user; show traceshow traceReport sql execute profiling infoexplain SQLReport sql plan infoexplain select count(*) from userexplain detail SQLReport sql det原创 2021-12-24 14:17:17 · 916 阅读 · 0 评论 -
阿里drds指令全
show rule Report all table rule show rule from TABLE Report table rule show rule from user show full rule from TABLE Report table full rule show full rule from user show topology from TABLE Report table physical topology sho原创 2021-12-30 09:00:28 · 383 阅读 · 0 评论 -
新医保重复人员合并按险种按状态定被合并顺序
truncate table psn_info_bcf ;insert into psn_info_bcf select * from psn_info_b where ( psn_name, certno) in (select psn_name, certno from psn_info_b group by psn_name, certno HAVING count(*)>1);select wm_concat( psn_no) hb, certno, psn_.原创 2021-11-16 14:32:16 · 686 阅读 · 0 评论 -
mysql上亿表的删除，rename思路
rename table emp_clct_crtf_plan_c to ltemp_clct_crtf_plan_c;CREATE TABLE `emp_clct_crtf_plan_c` ( `EMP_CLCT_CRTF_PLAN_ID` varchar(30) NOT NULL COMMENT '单位统一核定计划ID', `BIZ_OPTINS` varchar(40) DEFAULT NULL COMMENT '业务经办机构', `UNIF_CLCT_FLAG` varchar.原创 2021-11-16 14:28:59 · 592 阅读 · 0 评论 -
python的executemany的多select执行是不能获取结果的
获取到的是最后一个条件的set与条件=或者in无关原创 2021-11-10 15:07:48 · 972 阅读 · 0 评论 -
新医保的mysql小马拉大车如何在上亿数据中款速检索比较
1、必须用到索引2、采用executemany方式3、主键psn_no上sub虽然不走索引但是速度依然快4、跨库的比较，虽好用python检索到内存进行比较# -*- coding:utf-8 -*-import sysimport csvimport codecsimport os, ioimport datetimeimport timeimport logging.configimport tracebackimport pymysqlfrom concurre原创 2021-11-10 09:17:28 · 259 阅读 · 0 评论 -
华为ddm的datax的bug
mysql往oracle同步，在you分片键splitpk和channel=10的情况下，分片键出现乱码，传输结果一片混乱但是去掉splitpk，一切有正常原创 2021-10-21 20:24:15 · 164 阅读 · 0 评论 -
mysql 简单lock分析行锁
307updateemployeessetsalary=10000whereemp_id='1';312updateemployeessetsalary=10000whereemp_id='1'; SELECT*FROMinformation_schema.processlistWHEREcommand<>'Sleep';SELECT*FROMinformation_schema.innodb_trx;SELECT*...原创 2021-10-21 15:09:39 · 132 阅读 · 0 评论 -
mysql的ddm的一个解析bug
explain SELECT ACCT_PSN_CLCT_CRTYEAR_INC,( SELECT sum(INC_SUMAMT) FROM ACCT_INC_DETL_D WHERE YEAR = '2021' AND CRTER_ID <> 'NEUSOFT_XGO' AND psn_no = ACCT_INC_LED_D.psn_no )FROM ACCT_INC_LED_DWHERE ACCT_INC_LED_D. YEAR = '2..原创 2021-10-21 14:47:02 · 191 阅读 · 0 评论 -
mysql update join
CREATE DATABASE IF NOT EXISTS empdb;USE empdb;-- create tablesCREATE TABLE merits ( performance INT(11) NOT NULL, percentage FLOAT NOT NULL, PRIMARY KEY (performance));CREATE TABLE employees ( emp_id INT(11) NOT NULL AUTO_INCREMENT,.原创 2021-10-21 14:43:06 · 182 阅读 · 0 评论