2017年12月_DataCareer

12月 11月

原创 Python通过Thread锁实现并发日志入库

使用线程锁来实现一个简单写日志到数据库的功能，通过threading锁来实现线程安全，代码如下：#-*-utf-8-*-import logging, datetime, timefrom multiprocessing import Queue, Processimport cx_Oracleimport threadingclass LogInfo(object): def __

2017-12-30 22:18:51 1103

原创 Python实例管理

Python如何实现一个类只允许被实例化一次？这就要分两种情况：在同一个脚本中实例化同一个类这种有两种方法实现，一个是利用__new__方法，需要知道的是__new__方法运行的__init__方法之前，所以我们可以控制如何实例化类，甚至返回其它类的实例。通过类方法来实现，如下getInstance方法，这种就不很完美，因为其它人依然可以直接通过Test()这种方式来实例化类。class Te

2017-12-27 23:38:40 523

原创 Pycharm取消py脚本中SQL识别

Pycharm默认可以识别py脚本中的SQL语句，本身很不错，但当SQL拼接时就显示的代码特别难看，找了好久，终于知道怎么关闭SQL识别功能了。如下图，把勾去掉就可以了。

2017-12-26 14:53:56 5961 1

重点1、当Subscriber创建时会在对应的Publisher上创建一个slot，因为每一个订阅，都要消耗掉一个replication slot，需要消耗一个wal sender。 2、Publisher发生的改变都保存为wal文件，由walsender进程发送，然后Subscriber的apply进程应用后，才会删除对应的wal文件。所以断网恢复后可以自动同步。配置On the publish

2017-12-26 11:50:16 3803

原创 Oracle对象批量编译

Oracle导出导入数据后，如果新导入的有存储过程、函数、触发器、视图之类的Object就需要重新编译一下，不然他们的状态就是无效的。提供一个SQL以供大家使用。declare objowner varchar2(50) := 'scott';begin for obj in (select object_name from all_objects where status = '

2017-12-25 12:58:06 1774

原创 Oracle expdp/impdp测试库搭建过程

最近客户需要搭建一个测试库，折腾完，正好把的经验整理一下。一、测试库库创建：在windows下创建数据库最好以管理员权限运行，即使是Administrator登录也要这样操作，一般我们最好是保证使用Administrator来创建。不然后面可能监听无法创建。数据库是OLAP还是OLTP，OLAP最好修改一下数据块字符集一定要和生产库的保持一致，包括Language。同时保证nls_databa

2017-12-25 00:16:57 3831

原创 Python Json树更新

记录一段搜索Json树的代码，用于返回指定的节点并更新，因为Python返回的字典是对象引用，所以可以直接更新。class BaseJsonGenerator(object): def __init__(self): self.bmDao = BMDao() def run(self, brower, jsonFile): self.bmD

2017-12-16 21:37:16 1643

原创 Kettle日志输出到文件方法

网上有很多关于如何实现Kettle日志输出到日志文件的方法，但需要修改代码，重新编译，比较麻烦。这里面提供的方法可以解决两个问题：1、把日志输出到文件；2、日志的时间精确到毫秒；有时Kettle运行的很快，1 秒之内就输出好几条记录，而默认日志的时间只到秒级，这样日志的顺序就是混乱的。用这种方法就可以部分解决，因为控制台的默认日志无法去除掉，需要改代码。在Kettle的程序目录下data-

2017-12-13 13:52:32 12848 2

原创一段管理实例的代码

logging中很好一段代码，在返回实例前先通过类的参数检查是否存在，存在就返回已存在的实例，不存在就实例化 def getLogger(self, name): """ Get a logger with the specified name (channel name), creating it if it doesn't yet exist

2017-12-12 11:38:58 318

原创 GitHub API Push接口

最近研究一下GItHub API，想通过API直接提交文件，先把关键信息放上来，后面再来排版。注意： 1、需要先在GitHub上创建一个token，方法： Settings–>Developer settings–>Personal access tokens–>Generate new token，选择对应的权限即可。 2、curl命令不要回车，最后是在编写完命令

2017-12-11 23:21:45 3353

原创利用七牛云解决PC端文件同步

经常有一些文档需要在公司和家里的两地电脑间手工同步，很麻烦，于是利用七牛云免费的空间来做服务端实现同步功能。同时，为了文档内容保密，我采用cryptography模块（通过指定一个复杂的字符串）对文件加密，这样即使别人获取了七牛云上的文件也无法破解。import os, time, uuid, requestsfrom qiniu import Auth, put_file, urlsafe_

2017-12-05 23:59:47 1196 2

PLSQL DEV 11注册码

内附PLSQL DEV 11注册码，绝对可用

2016-03-02

sed awk高级编程案例

sed awk高级编程案例，大量的sed awk等命令的实现功能对比，让你使用shell更好的融汇贯通

2014-08-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

DataCareer的博客