阿里云
回到未来望过去
oracle性能20年研究(saa批量自动优化分析,job、expdp的undo、temp内部运行机制等)
自行开发设计ssi平台(支持vpd)
自行开发设计pythonQT管理平台(系统监控、导出xls、常用字典、常用sql,日常运维sql(支持参数化))应用formysql,fororacle,fordm
python工具应用:工作量化监控mail日报,ogg监控日报(让领导发现问题),pyforweblogic监控自动重启
pyformysql数据外挂(降低mysql华为云性能峰值),py推荐算法落地社保
E-mail:li_tao@neusoft.com
展开
-
mysql慢sql的log解析
for %%a in (*slow.log) do E:\MySQ5.7\bin/mysqldumpslow.pl -t 20 -s c %%a >%%a.fxc.logfor %%a in (*slow.log) do E:\MySQ5.7\bin/mysqldumpslow.pl -t 20 -s r %%a >%%a.fxr.logrem for %%a in (*slow.log) do E:\MySQ5.7\bin/mysqldumpslow.pl -t 10 -s t %%a &原创 2022-01-18 10:11:51 · 647 阅读 · 0 评论 -
阿里云mysqk一键batchtool到oracle;目前最快速度
利用oracle的spool生成脚本,然后批处理调用,ctl.sqlset feed offset echo offset head offset verify off set linesize 4000spool &&1..batselect 'java -jar batch-tool.jar -h 127.0.0.1 -u poldb -p polcb@111243 -P 23306 -D polcent_db -o export -t &&a.原创 2022-01-06 09:00:51 · 531 阅读 · 0 评论 -
oracle的表ctrl+c v到mysql的navicat用法
直接选择出现的都是oracle-oracle的结构同步或者数据同步;oracle选中表,然后到mysql ctrl+v即可弹出向导框原创 2022-01-04 15:17:10 · 495 阅读 · 0 评论 -
oracl到MySQL的batchtool+sqluldr2快速迁移
E:\mysqldata\downdatamysql>sqluldr2 hsa_ _cz@10.58. b1 query="select * from PSN_INFO_SYNC_FAIL_RCD_B " buffer=1000MB safe=yes fast=YES mode=APPEND file=PSN_INFO_SYNC_FAIL_RCD_B.csv batch=yes rows=3000000 field="0x09" 0 rows exported at 202.原创 2022-01-04 10:47:34 · 339 阅读 · 0 评论 -
sqlldr的ctl文件字段部分生成脚本
select column_name || decode(data_type, 'DATE', ' date ''yyyy-mm-dd hh24:mi:ss''') || ',' from user_tab_cols where table_name = 'PSN_INFO_B' order by column_id ;原创 2022-01-04 09:40:57 · 351 阅读 · 0 评论 -
阿里云mysql的batchtool限定一个导出文件,引号tab格式
chcp 936java -jar batch-tool.jar -h 127.0.0.1 -u basinfocent_db -p basinfocent_db@543097 -P 8306 -D basinfocent_db -o export -t psn_info_b -s " " -readsize 1000 -quote force -np -cs gbk -F 1pause原创 2022-01-04 09:23:49 · 469 阅读 · 0 评论 -
mysql千万表导出导入oracle的最快方案,不要提datax啊
1、导出chcp 936java -jar batch-tool.jar -h 127.0.0.1 -u basinfocent_db -p basinfocent_db@543097 -P 8306 -D basinfocent_db -o export -t psn_info_sync_fail_rcd_b -s " " -w " 1=1 limit 10 " -np -readsize 1 -quote force -parapause2、处理一下导出null的\N需要替换掉原创 2022-01-03 15:39:38 · 583 阅读 · 0 评论 -
阿里云mysql的batchtool的\t导出
chcp 936java -jar batch-tool.jar -h 127.0.0.1 -u basinfocent_db -p basinfocent_db@543097 -P 8306 -D basinfocent_db -o export -t psn_info_sync_fail_rcd_b -s " " -w " 1=1 limit 10 " -np -readsize 1 -quote force -parapause-s 后面的\t用引号引起来,试了半天\t \u...原创 2022-01-03 14:05:14 · 284 阅读 · 0 评论 -
阿里云mysql的explain execute结果分析
Using filesortMySQL有两种方式可以生成有序的结果,通过排序操作或者使用索引,当Extra中出现了Using filesort 说明MySQL使用了后者,但注意虽然叫filesort但并不是说明就是用了文件来进行排序,只要可能排序都是在内存里完成的。大部分情况下利用索引排序更快,所以一般这时也要考虑优化查询了。使用文件完成排序操作,这是可能是ordery by,group by语句的结果,这可能是一个CPU密集型的过程,可以通过选择合适的索引来改进性能,用索引来为查询结果排序。Us.转载 2022-01-01 22:16:55 · 301 阅读 · 0 评论 -
阿里云mysql修改执行计划
执行计划调优实战数据发生变化或PolarDB-X优化器引擎升级后,针对同一条SQL,有可能会出现更好的执行计划。SPM在自动演化时会将CBO优化自动发现的更优执行计划加入到SQL的基线中。除此以外,您也可以通过SPM的指令主动优化执行计划。SELECT *FROM lineitem JOIN part ON l_partkey=p_partkeyWHERE p_name LIKE '%green%';正常EXPLAIN发现该SQL生成的执行计划使用的是Hash Join,并且在Baseline .转载 2022-01-01 22:05:27 · 278 阅读 · 0 评论 -
阿里云mysql的join场景
JOIN算法JOIN算法 使用场景 NLJoin 非等值JOIN场景 HashJoin 大部分等值Join都倾向于选择HashJoin,除非数据有严重倾斜 BKAJoin 外表数据量较小,内表数据比较大 Sort-Merge-Join 当数据严重倾斜或者数据输入已经是有序的时候优先选择Sort-Merge-Join 目前,PolarDB-X支持Nested-Loop Join、Hash Join、Sort-Merg转载 2022-01-01 11:05:28 · 121 阅读 · 0 评论 -
阿里云mysql的几个hints
loaddatalocalinfile'E:\\mysqldata\\yaopinmuludelete.txt'intotable`polcent_db`.`yaopinmuludelete`characterset'utf8'fieldsescapedby'\\'terminatedby'\t'linesterminatedby'\r\n'ignore1lines(`国家药品编码`)/*+TDDL:EXECUTOR_MODE=MPPMPP_P...原创 2021-12-31 09:59:45 · 418 阅读 · 0 评论 -
阿里云的mysql的explain
EXPLAIN {LOGICALVIEW | LOGIC | SIMPLE | DETAIL | EXECUTE | PHYSICAL | OPTIMIZER | SHARDING | COST | ANALYZE | BASELINE | JSON_PLAN | ADVISOR} {SELECT statement | DELETE statement | INSERT statement | REPLACE statement| UPDATE statement}mysql> explain转载 2021-12-31 09:16:40 · 218 阅读 · 0 评论 -
阿里云mysql日期时间函数
日期时间函数更新时间:2021-11-30 11:24我的收藏本文介绍了PolarDB-X支持的日期时间函数。支持函数PolarDB-X支持如下日期时间函数: 函数名 描述 示例 ADDDATE(d,n) 计算起始日期d加上n天的日期 SELECT ADDDATE("2017-06-15", INTERVAL 10 DAY); 返回: ->2017-06-25 ADDTIME(t,n) n是一个时间表达式,时间t加.转载 2021-12-31 09:00:40 · 637 阅读 · 0 评论 -
阿里云mysql字符串函数
字符串函数更新时间:2021-12-16 11:21我的收藏本文介绍了PolarDB-X支持及不支持的字符串函数。支持函数PolarDB-X支持如下字符串函数: 函数名 描述 示例 ASCII(s) 返回字符串s的第一个字符的ASCII码 返回CustomerName字段第一个字母的ASCII码: SELECT ASCII(CustomerName) AS NumCodeOfFirstChar FROM Customers; CHAR_转载 2021-12-30 22:44:03 · 141 阅读 · 0 评论 -
阿里云mysql的加密和压缩函数
加密和压缩函数更新时间:2021-11-30 11:26我的收藏本文主要介绍PolarDB-X支持的加密和压缩函数。支持的加密和压缩函数PolarDB-X目前支持mysql 5.7的大部分未过时的加密和压缩函数,具体信息见下表: 函数名 描述 AES_DECRYPT 使用AES算法解密 AES_ENCRYPT 使用AES算法加密 RANDOM_BYTES 返回随机字节向量 MD5 计算MD5 128位校验和 SHA1, SHA转载 2021-12-30 22:37:44 · 337 阅读 · 0 评论 -
阿里云暂不支持的sql
SQL语法使用限制 SQL语法 操作 使用约束 自定义操作 自定义函数 暂不支持。 自定义类型 暂不支持。 存储过程 暂不支持。 触发器 暂不支持。 游标 暂不支持。 视图 支持。 DDL CREATE TABLE ... LIKE ... 暂不支持拆分表。 CREATE TABLE ... SELECT ... 暂不支持拆分表。 RENAME TABLE 暂不支持同时RENAME多表。转载 2021-12-30 16:13:04 · 147 阅读 · 0 评论 -
阿里云的PolarDB-X备份模仿了oracle的数据库恢复到秒的机制
备份类型PolarDB-X的备份由数据备份和日志备份组成。数据备份:系统对数据进行备份,并生成备份集,目前采用的是物理备份。您可以恢复备份集所在时间点的数据。 日志备份:也叫增量备份,备份了记录数据变更的binlog日志。开启日志备份后,基于“数据备份+日志备份”,您可以恢复时间范围内任意时间点(精确至秒)的数据。例如,实例中创建了2021年01月01日00:00:01的数据备份集以及该时间之后的日志,则可以恢复2021年01月01日00:00:01以来任意时间点(精确至秒)的数据。...原创 2021-12-30 15:02:31 · 327 阅读 · 0 评论 -
阿里云查看tddl版本
selectversion();+----------------------------+|VERSION()|+----------------------------+|5.6.29-TDDL-5.4.3-15921942|+----------------------------+原创 2021-12-30 14:22:44 · 130 阅读 · 0 评论 -
阿里云batchtool命令参数
java-jarbatch-tool.jar-?##1.默认导出(文件数等于表的分片数)java-jarbatch-tool.jar-h127.0.0.1-utestUser-ptestPasswd-P3306-Ddb_name-oexport-ttable_name-s,-np -readsize 1 -quote none -para##2.导出文件数=3(-F:指定文件数)java-jarbatch-tool.jar-h127...转载 2021-12-30 14:17:06 · 257 阅读 · 0 评论 -
阿里云5万数据的0.6秒入库batchtool
chcp 936java -jar batch-tool.jar -h 127.0.0.1 -u polcent_db -p -P 6306 -D polcent_db -o export -t yaopinmuludelete -s , -w "1=1" -np -readsize 1 -quote none -parapausechcp 936java -jar batch-tool.jar -h 127.0.0.1 -u polcent_db -p -P 6306 -D polc.原创 2021-12-30 14:12:27 · 350 阅读 · 0 评论 -
阿里云batchtool的SLF4J: Failed toString() 解决办法
C:\Users\viviliving\Desktop\jiangsu\阿里云\batchtool>chcp 936活动代码页: 936C:\Users\viviliving\Desktop\jiangsu\阿里云\batchtool>java -jar batch-tool.jar -h 127.0.0.1 -u polcent_db -p polcent_db_2021 -P 6306 -D polcent_db -o import -t yaopinmuludelete -s ,.原创 2021-12-30 14:06:29 · 1031 阅读 · 0 评论