lihengfang的专栏

原创 python3.7以上的asncio的简单使用

总共耗时:8.000972032546997 执行时间和最耗时的washing2()差不多。

原创 mac python3使用mysqlclient报错处理办法

NameError: name '_mysql' is not definedLibrary not loaded: @rpath/libmysqlclient.21.dylib

原创 mysql主从延时处理

Slave_SQL_Running_State: Waiting for dependent transaction to commit或Slave_SQL_Running_State: Waiting for Slave Worker queue或Slave_SQL_Running_State: Waiting for Slave Workers to free pending events

原创 mongodb手动迁移chunk脚本

mongodb手动迁移chunk脚本

原创 centos6下报错：install_driver(mysql) failed: Attempt to reload DBD/mysql.pm aborted.

centos6下报错：install_driver(mysql) failed: Attempt to reload DBD/mysql.pm aborted.

原创 django model字段加解密方法

django加解密方法AES/CBC/pkcs7padding

原创 pt-online-ddl修改表结构的坑

故障说明：线上执行一个sql，将goods的num字段设置为NOT NULL，但是goods表的num已经存在为NULL的字段，执行前没有检测是否存在空值且没有调整为非空，使用pt-online-schema-change修改表结构时没有执行成功，而且业务还有在写入为NULL的数据，因此触发器执行插入goods_bak表失败，由于触发器需保证新、旧表的原子性，所以业务写入失败还原问题创建表：create table goods(gid int,name varchar(20),nu

原创 linux使用awk对分别对每列求和、平均、最大、最小值

linux使用awk对分别对每列求和、平均、最大、最小值脚本中已经有6列，如果你的文本大小或小于6列，请自行增减代码中的列即可awk 'BEGIN{ col1=0;col2=0;col3=0; col1_max=0;col2_max=0;col3_max=0; col1_min=0;col2_min=0;col3_min=0; col1_name="r"; col2_name="d"; col3_name="swap"; col4_name=

原创 Mac OS Big Sur上通过pyenv的python 3.6安装失败

在我的MacOS Big Sur上安装Python 3.6.13时，使用命令pyenv install 3.6.13，出现以下错误MacBook-Pro-2:cache fancy$ pyenv install 3.6.5python-build: use openssl from homebrewpython-build: use readline from homebrewInstalling Python-3.6.5...python-build: use readline from h

原创 mac Big Sur执行python报：dyld: Library not loaded

升级到Big Sur后执行python报：dyld: Library not loaded: /System/Library/Frameworks/CoreFoundation.framework/Versions/A/CoreFoundation Referenced from: /Library/Frameworks/Python.framework/Versions/3.6/Resources/Python.app/Contents/MacOS/Python Reason: imag..

原创 go 的list

package mainimport ( "fmt")type List struct { root Element len int}type Element struct { next, prev *Element //自己包含自己的类型 list *List Value interface{}}func (l *List) Front() *Element { if l.len == 0 {.

原创 mongodb删除数组中host字段like"172.20"的数据

一：写入数据db.conf.insert({ "_id" : "sushardA", "version" : 14, "protocolVersion" : NumberLong(1), "members" : [ { "_id" : 1, "host" : "172.20.0.132:27017", "arbiterOnly" : false, "buildI...

原创 mysql大量删除避免主从延时执行脚本

import MySQLdbimport requestsimport timeimport datetimeimport jsonfrom docopt import docoptfrom DBUtils.PooledDB import PooledDBdb_host="ali-trade-01.mysql.rds.aliyuncs.com"db_name='storemis...

原创 mac下import MySQLdb报:not loaded: libssl.1.0.0.dylib和libcrypto.1.0.0.dylib

import MySQLdbTraceback (most recent call last): File "<stdin>", line 1, in <module> File "/Users/fancy/.pyenv/versions/env362/lib/python3.6/site-packages/MySQLdb/__init__.py", line 1...

原创 pymongo获得执行计划的方法

方法一：db.command("explain",{"find":"myset","limit": 5},verbosity="executionStats")db.command('aggregate', 'things', pipeline=pipeline, explain=True)方法二：db.test.find().limit(1).explain()参考:htt...

原创 关于mongodb or和and的坑

我想写一个select * from job whereupdateTime<>0 andupdateTime is not null正常情况下mongodbl的find()中所有的条件是and,但是以下写法查询出来的结果却是ordb.Job.find({ 'updateTime': {$exists: true},'updateTime': {$ne:0} })改写后...

转载 RDS for MySQL CPU 性能问题分析

RDS for MySQL CPU 性能问题分析视频学习RDS for MySQL CPU性能问题分析（一）RDS for MySQL CPU性能问题分析（二）RDS for MySQL CPU性能问题分析（三）RDS for MySQL CPU 性能问题分析1. 原因2. 释疑3. 后记RDS for MySQL CPU 使用率高是使用 RDS for M...

原创 inception和goinception执行osc慢的问题

如果调用pt-online--schema-change,请注意调整以下几个参数：inception_osc_max_thread_connected SESSION 1000 对应参数--max-load中的thread_connected部分 inception_osc_critical_thread_connected SESSION 1000 ...

原创 zabbix+httpd访问时报403

apache报403错：ForbiddenYou don't have permission to access /zabbix/zabbix.php on this server.处理办法：查看SELinux状态：1、/usr/sbin/sestatus -v      ##如果SELinux status参数为enabled即为开启状态SELinux sta

原创 shell在指定目录下批量执行sql脚本

shell在指定目录下批量执行sql脚本

原创 新装logstash5.X报：No such file or directory - /usr/share/logstash/config/logstash.yml

--- jar coordinate com.fasterxml.jackson.core:jackson-annotations already loaded with version 2.7.1 - omit version 2.7.0--- jar coordinate com.fasterxml.jackson.core:jackson-databind already loaded

原创 mysql的left jion改写not in或not exists

需求：查询数据库gip_demo比数据库epmp多的表和字段：1.优先考虑使用not exist：SELECT a.table_name, a.column_name FROM information_schema.COLUMNS a WHERE a.TABLE_NAME REGEXP '^s_' AND a.TABLE_SCHEMA = 'gip_de

原创 PowerDesigner的报表功能导出表的清单

原创 centos7下docker报错处理

报错一：Failed to stop service.docker.service: Unit service.docker.service not loaded.解决：检查/etc/docker/daemon*配置加速器文件{"registry-mirrors": ["http://34df6785.m.daocloud.io"],}是否加了逗号，去掉逗号就可以了报错二：在创建容

原创 mysql索引列为空，也可以走索引

执行计划：查询结果：

转载 配置YUM源出现Errno 14 Could not open/read repomd.xml 错误的解决办法

[root@fancy yum.repos.d]# yum  makecacheLoaded plugins: fastestmirror, refresh-packagekit, securityLoading mirror speeds from cached hostfile * base: mirrors.aliyun.com * c6-media:  *

原创 mysql实现oracle的分析函数lag和rank

利用mysql的变量来实现：set @lag:=0,@currs:=0,@rank:=0;SELECT name,@lag:=@currs as lag,(@currs:=acct_no) as current_value,@rank:=if(@currsfrom a_acct ORDER BY acct_no;

原创 设置powerDesigner生成mysql的表注释字符最大长度

设置powerDesigner生成mysql的表注释字符最大长度

原创 在centos7.0下安装xtrabackup报错

error: Failed dependencies: libev.so.4()(64bit) is needed by percona-xtrabackup-24-2.4.2-1.el7.x86_64 perl(DBD::mysql) is needed by percona-xtrabackup-24-2.4.2-1.el7.x86_64

原创 python多线程

以前在网上查了很简单的多线程的例子，本来想让主线程等到子线程结束后再结束主线程。使用join()方法，正确的程序应该是这样的：#!/usr/bin/python# -*- coding: UTF-8 -*-import threadingimport timeclass myThread (threading.Thread):   #继承父类threading.Th

原创 Data Integration - Kettle 6.0 win10下报could not create the java virtual machine的问题

java要求安装jdk1.7版本并配置环境变量打开Spoon.bat,找到这下面这一行：if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=256m"修改"-Xmx1024m" "-XX:MaxPermSize=128m

原创 linux下python连接Teradata

一.python安装（zlib RPM包和setuptools  python插件很重要，为了防止以后安装别的插件报错，强烈要求安装它们，其中的麻烦笔者经历也不希望你再重走一回，所以还是乖乖装上吧）1.在安装python前下载zlib包后解压,进入目录安装： rpm -Uvh zlib-devel-1.2.3-29.el6.x86_64.rpm2.python安装后再安装setupto

转载 eclipse下安装pydev解决方案

在windows环境，eclipse下安装pydev下过这个方法：点击Help->Install New Software...   在弹出的对话框中，点Add 按钮。  Name中填:Pydev,  Location中填http://pydev.org/updates然后一步一步装下去。但是安装不了，换了各种版本的jdk,换了各种版本的eclipse就是安不上报下面的错：

原创 Python连接teradata和Oracle的简单例子

参考文档：http://developer.teradata.com/tools/reference/teradata-python-module#!/usr/bin/python# encoding=utf-8#连接Teradataimport teradataimport cx_Oracle  udaExec = teradata.UdaExec (appName="H

原创 UnicodeDecodeError: 'utf8' codec can't decode byte 0xc4 in position 0: i报错问题

在网上搜了很多人的处理方法是可是我自己试一了下不行，程序错是不报了，但是实际没有运行最后，在程度的头部加了这两行就好了，中文也可以正常显示了#!/usr/bin/env Python# coding=utf-8希望对朋友们有帮助

原创 用数据泵导入数据失败报错ORA-39002: invalid operation

ORA-39002: invalid operationORA-39070: Unable to open the log file.ORA-29283: invalid file operationORA-06512: at "SYS.UTL_FILE", line 536ORA-29283: invalid file operation报错原因：一、在导数据的时候目录是

原创 mysql误删除恢复

假设我们在项目中，每周日0时做一次全备，刚好在周日的00：30不小心误删除了一条记录，那么问题来了，我们应该怎么做恢复呢？我对它处理的思路是：1.首先关闭外部连接或禁止进行写操作，关闭日志写：mysql>flush logs; mysql>setglobal sql_log_bin=0; 2.用全备做恢复： mysql -uroot -proot fancy 3.找出全

原创 Jdbc访问数据库时绑定和不绑定变量

jdbc访问数据库时绑定和不绑定变量的测试例子：       import java.sql.*;       import oracle.jdbc.driver.*;　　　class ConOra {　　public static void main(String args[] ) throws SQLException{　　DriverManager.r

转载 prepareStatament和Statement和callableStatement的区别

Statement 每次执行sql语句，数据库都要执行sql语句的编译 ，最好用于仅执行一次查询并返回结果的情形，效率高于PreparedStatement. PreparedStatement是预编译的，使用PreparedStatement有几个好处 a. 在执行可变参数的一条SQL时，PreparedStatement比Statement的效率高，因为DBMS预编译一条SQL当然

转载 Linux下Mysql字符集编码问题

今天在架设LAMP服务器的时候遇到了数据库中比较经典的问题。  在mysql 中插入中文的时候出现乱码!　　在网上找了一下解决方法．　　呵呵，方法基本上都是一致的．　　1 . copy　一个文件成　　/etc/my.cnf cp /usr/share/mysql/my-large.cnf /etc/my.cnf然后修改　　/etc/my.cnf 文件 　在　[client ]