2017年07月_BingCorePower

原创 Hive基础编程入门(一)

设置查询时显示字段名称hive> set hive.cli.print.header=true;设置cli模式下显示当前所在的数据库名称hive> set hive.cli.print.current.db=true;设置hive的安全措施为"strict(严格)"模式(如果对分区表查询的WHERE子句中没有加分区过滤的话，将禁止提交这个任务)hive> set hive.mapre

2017-07-31 21:08:50 3835

原创 Kettle实现SQL Server数据到GreenPlum的每日同步调度

1.总的调度流程，通过linux下的crontab定时执行一个包含kjb执行信息的shell脚本2.XXXX_0_Execute_Judge转换下有两个作业，通过获取每天的同步状态值来判断是否执行同步工作，如果同步状态不满足，会发邮件告知3.XXXX_A0_Connect_Next作业下含有四个并行执行的作业，Message_Prepare_Yes作业负责的获取到同步状态O

2017-07-30 20:55:08 5541 1

原创 Eclipse(pyDev)导入Anaconda2发行版中的模块

1.在Python安装目录下的$PYTHON_HOME\Lib\site-packages新建一个MyPackageName.pth文件2.向MyPackageName.pth文件写入Anaconda2安装目录$ANACONDA2_HOME\Lib\site-packages的绝对路径#!/usr/bin/python# -*- coding:utf-8 -*-imp

2017-07-29 16:02:58 2649

原创 Python学习心得(五) random生成验证码、MD5加密、pickle与json的序列化和反序列化

# -*- coding:utf-8 -*-import random as rd #验证码import hashlib as hsl #MD5加密import pickle,json #pickle与json序列化#print rd.randint(1,5)#print help(range)#print help(rd.randint)#随机生成6位验证码：code =

2017-07-26 23:43:32 2372

原创 Python学习心得(四) yield和三元运算以及lambda表达式

1.yield 英文意思生产、生成的意思，在Python中带有yield的函数被称为生成器(Generator)'''for i in range(10000) #生成10000个元素的List 值越大，运行中占用的内存就会越大for j in xrange(10000) #xrange返回的不是List，而是一个iterable的对象每次迭代返回下一个数值，占用很小的内存空间'

2017-07-25 22:48:52 4022

转载 DB2数据库函数大全

DB2 内置的函数真的是很多，要精通每个函数几乎是不可能的，所以本文并不打算介绍每个函数的具体用法，而是提供一个概览，让您了解每个函数的功能，这样，当你感觉你需要某些功能的函数时，再学习它们的具体用法也不迟。DB2 内置函数大体分为以下几类：聚合函数类型转换函数数学函数字符串函数日期时间函数 XML 函数分区函数

2017-07-24 17:18:43 10384

原创 Python学习心得(三)函数之任意数量实参、任意数量关键字实参、导入模块中的函数

#!/usr/bin/python# -*- coding:utf-8 -*-'''1.传递任意数量的实参 Python允许函数传入任意数量的实参，例如： *messages形参名中的*表示让Python创建一个空的名称为messages的元组，接收传入的所有值'''def get_person_message(*messages): concat = ''

2017-07-23 21:30:01 3942

原创 Python学习心得(二) 字典Dictionary

前言 . 在Python中字典就是一系列的键值对，一种可变容器，可以存储任意对象，也被称作关联数组或哈希表。1.基本语法用一对花括号{}中的一系列键值对表示，键与值之间用冒号分隔，键值对之间用逗号分隔，例如：blogger = {'name': 'binguo','age': 27}2.访问字典中的值 print 'name:'+ blogger['name'] +' age:

2017-07-20 23:15:55 3139

原创 Linux下Shell编程之必背必记(一)

1.Shell常用特殊变量含义解释$# 传入Shell脚本的参数个数$? 最后运行命令的结束码(0表示：成功执行非0表示：执行过程中出现异常或非正常退出)状态码：0 命令成功结束1 通用未知错误2 误用shell命令126 命令不可执行127 没找到命令128 无效退出参数128+x Linux信号x的严重错误130 Linux信号2的

2017-07-18 23:51:22 4770

原创 SQL Server表中某些字段含有水平制表符、换行符、回车符、反斜杠的解决办法

DECLARE @TableName VARCHAR(50);SET @TableName = 'Buzzreader_Data_Union';--系统表syscolumns中xtype = 61表示是日期字段，除了日期字段，其它都可以原样输出--char(9) 水平制表符--char(10) 换行键--char(13) 回车键DECLARE @datastr2 VARCHAR

2017-07-18 20:55:35 7980

原创 SQL实现统计字符串出现的频次

--主要用到REPLACE()和LEN()函数，任何数据库只要稍加修改即可使用。CREATE FUNCTION ufn_GetSubStrFrequency ( @TotalStr VARCHAR(MAX) , @SubStr VARCHAR(500) )RETURNS INTAS BEGIN IF @SubStr IS NULL

2017-07-17 20:18:32 5354

原创 Python学习心得(一) 列表List

1.何为列表1.1 列表作为序列(sequence)的一种，是一组有顺序的元素的集合。1.2 列表是Python中最常用的内置数据类型，用中括号[元素1,元素2...]括起，以逗号分隔，元素之间没有任何关系，可以是任何类型。2.列表的声明与访问 #!/usr/bin/python# -*- coding:utf-8 -*- #变量的声明market = ['Apple','B

2017-07-15 18:46:40 2095

原创 SQL Server根据表或视图批量生成插入语句并BCP导出成文本

--声明变量 DECLARE @TableName VARCHAR(100),@RunStr VARCHAR(MAX),@RunRC VARCHAR(MAX),@FinalRun VARCHAR(MAX) --在master库创建数据载体，也可以建立在其他数据库，但一定要是实体表，因为BCP导出不支持临时表 IF OBJECT_ID('master.dbo.tempinsertstr')

2017-07-14 23:05:44 1604

原创 GreenPlum之数组合并取交集及行变列、列变行函数

--1.利用INTERSECT关键字数组之间交集函数CREATE OR REPLACE FUNCTION array_intersect(anyarray, anyarray) RETURNS anyarray AS $$ SELECT ARRAY( SELECT UNNEST($1) INTERSECT SELECT UNNE

2017-07-13 23:35:31 4278

原创 SQL Server日常总结生僻小技巧 10个可能有八个平时都没用到过

--1.统计指定行的乘积:EXP(SUM(LOG(字段)))IF OBJECT_ID('tempdb.dbo.#a') IS NOT NULL DROP TABLE #aCREATE TABLE #a(i INT ,j FLOAT)INSERT #a VALUES(1,1.23)INSERT #a VALUES(1,0.59)INSERT #a VALUES(1,0.94)INSERT

2017-07-12 23:57:55 11762

原创 GreenPlum之按月份或季度实现行转列

1.参考GreenPlum之生成月份字典表 GreenPlum之生成月份字典表2.根据Case When语句及GreenPlum中string_agg聚合函数拼凑对应月份或季度周期字段，以下是核心实现sql，读者可根据需求自行修改： --字段按照月份行转列if position('yyyy-mm' in in_datecolum)>0 then out

2017-07-11 22:28:28 3579

原创 GreenPlum之生成月份字典表

--生成月份字典表drop table if exists monthmapping;create table monthmapping as select cast(to_char(onday,'yyyy-mm')||'-01' as char(10)) monthid,onday from (select cast('2001-01-01 00:00:00' as timestamp)

2017-07-10 23:22:59 2426

原创 Linux下crontab命令添加Kettle作业定时任务

1. 确保作业 $KETTLE_HOME/kitchen.sh -file=/data1/testdata/testkjb.kjb 或转换 $KETTLE_HOME/pan.sh -file=/data1/testdata/testktr.ktr 能在Linux下正常执行此步骤在JDK配置正确，（Ps.可选择配置Kettle的环境变量，主要是定位程序所在主目录，不用每次引用绝对路径），

2017-07-09 22:33:26 2948 2

原创 GreenPlum之进程会话管理篇

--1.查询指定库下面的活动会话，procpid字段表示会话Procselect * from pg_stat_activity where datname = 'dbname';--2.中断查询，${procpid}表示上面查询对应的procpid，下同select pg_cancel_backend(${procpid}); --3.中断会话连接select pg_termina

2017-07-08 22:33:15 3775

原创 Excel列值(不限字符串数字)转换Vaules()拼凑表

DECLARE @TaskCmdOne VARCHAR(MAX)='北京上海广州长春济南成都南京武汉', @TaskCmdTwo VARCHAR(MAX)SELECT @TaskCmdOne=REPLACE(REPLACE(REPLACE(REPLACE(REPLACE(@TaskCmdOne,'，',','),'、',','),'/',','),'\',','),'|',',

2017-07-08 12:56:56 1573

原创 postgresql数据库中判断是否是数字和日期时间格式函数

--1.判断字符串是否是数字create or REPLACE function isnumeric(txtStr VARCHAR) RETURNS BOOLEANAS$$BEGINRETURN txtStr ~ '^([0-9]+[.]?[0-9]*|[.][0-9]+)$';END;$$language 'plpgsql';create or REPLA

2017-07-08 11:19:55 13200 1

binguo的博客