2013年11月_chunyangwu

12月 11月 10月

原创 ORA-03113 解决办法

2013-11-27 14:03:12 8650

原创彻底挖掘mysqlbinlog数据内容

平时工作需要查询mysqlbinlog里面哪个库，哪个表在什么时间更新了什么数据，而通过mysqlbinlog转义过来的文件里面数据太乱，很多注释，而且也没有表结构相关字段，都用@1，@2等类似的方式显示，就想到通过python开发一个这样的功能。先说下脚本的原理：先通过mysqlbinlog转义二进制日志binlog文件，保存为一份临时文件（执行完后删除）脚本连接数据库，查出对应

2013-11-21 15:05:02 3636

原创 python提取百万数据到csv文件

今天有需求，需要把系统所有用户注册的id和邮箱等信息导出来提供给他们，在mysql里面count了下，大概有350万左右就尝试了下用python实现，顺带练习下python写csv的功能，本来想用工具的，但想了下速度会很慢，整个导出过程大概就3分钟左右，还是蛮快的，毕竟有三百多万，导完后有150M左右下面是我的脚本deal_csv.py,由于需要连接mysql数据库，脚本依赖MySQL

2013-11-15 11:25:30 3769

原创 python获取上一个月第一天0点的unix时间戳

这两天做统计，需要用到当月第一天0点0分0秒的unix timestamp，上个月第一天0点的unix时间戳，三个月前月第一天的0点的Unix时间戳，六个月前当月第一天的0点的Unix时间戳，现在整理如下，看代码和执行的结果，凑了半天的结果。__author__ = 'chunyang.wu'# -*- coding: utf-8 -*-import timeimport datet

2013-11-08 16:18:26 4628

原创 mint安装cx_Oracle拓展

采用easy_install来安装，整个过程见下面：（注意，切换到root下进行，否则报各种错误）dba@dba ~ $ suPassword: dba dba # cddba ~ # pwd/rootdba ~ # whoamirootdba ~ # echo $ORACLE_HOME/usr/lib/oracle/11.2/clientdba ~ # easy_ins

2013-11-05 14:21:30 1093

原创 mint下安装oracle instance client

昨天在我把本本上把ssd格了，安装了个mint版linux进去，打算把他搭建成工作环境来使用，下面是安装oracle instance client的过程，后面可能还要安装cx_Oracle,MysqLDB等拓展。首先从官网下载oracle instance client客户端软件，这里我的系统所32位的，所以下载了32位到客户端，共4个rpm包，由于没有现成到deb包，只能自己转

2013-11-05 12:43:09 1725

转载 MySQL批量SQL插入性能优化

对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此，优化数据库插入性能是很有意义的。经过对MySQL innodb的一些性能测试，发现一些可以提高insert效率的方法，供大家参考参考。1. 一条SQL语句插入多条数据。常用的插入语句如：

2013-11-04 11:36:20 824

转载 MYSQL数据丢失讨论

目录 MySQL数据丢失讨论……………………………………………………………………………………… 1目录……………………………………………………………………………………………………………….. 31. 概述…………………………………………………………………………………………………………. 42. 问题定义…………………………………………………………

2013-11-04 10:36:29 1816