DB2自定义函数（C语言）实战

最新推荐文章于 2023-11-22 21:52:38 发布
最新推荐文章于 2023-11-22 21:52:38 发布
阅读量2.2k 收藏 1
点赞数
分类专栏： 技术违章 文章标签： db2 语言 c integer output parallel
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huanghelang/article/details/7670446
版权

1      需求

某表存在如下数据：

4000000001|0|16217|43523|0

4000000004|0|740|464|0;4000000001|0|2717|15394|0

1030000004|0|1074|104|0;4000000004|0|104|104|0;4000000001|0|5219|3582|0

4000000001|0|150129|1285711|0;1040000004|0|4064|32526|0;1030000008|0|1921|15794|0;1030000005|0|2356|2103|0;4000000004|0|5520|3228|0;1030000004|0|856|4252|0;1040000015|0|954|132|0;1040000014|0|5013|494|0

其中“；”分割个数不定，每个“；”中分割的“|”为5部分


 

 

拆分结果示例：

 

如4000000004|0|740|464|0;4000000001|0|2717|15394|0，拆分成：

1       4000000004     0       740  464  0

2       4000000001     0       2717         15394       0


 

刚开始使用自定义函数之sql函数效率无法满足要求，206万数据需要867s，每日数据处理需要80分钟左右，经查资料，c自定义函数在逻辑较复杂时效率较高，sql与java效率高低存在争议，决定使用c自定义函数

 

2      编写程序：

 

#include <stdio.h>
#include <sqludf.h>
#include <sqlstate.h>

void SQL_API_FN gprsSplit(
			SQLUDF_VARCHAR *inputStr,    /* input */
			SQLUDF_INTEGER *intId,      /* output */
			SQLUDF_VARCHAR *charCol,      /* output */
			SQLUDF_BIGINT *intCol1,      /* output */
			SQLUDF_BIGINT *intCol2,      /* output */
			SQLUDF_BIGINT *intCol3,      /* output */
			SQLUDF_BIGINT *intCol4,      /* output */
			/* null indicators */
			SQLUDF_NULLIND *inputStr_ind,
			SQLUDF_NULLIND *intId_ind,
			SQLUDF_NULLIND *charCol_ind,
			SQLUDF_NULLIND *intCol1_ind,
			SQLUDF_NULLIND *intCol2_ind,
			SQLUDF_NULLIND *intCol3_ind,
			SQLUDF_NULLIND *intCol4_ind,
			SQLUDF_TRAIL_ARGS_ALL)
{
	char intValue[50+1] = { '\0' };
	char tempStr[50+1]={'\0'};
	char *tp = NULL;

	struct scratchMap {
		char *p;
		int rowNumber;
	};

	/* map the scratchpad */
	struct scratchMap *scratch = (struct scratchMap *)SQLUDF_SCRAT->data;

	*intId_ind   = -1;
	*charCol_ind = -1;
	*intCol1_ind = -1;
	*intCol2_ind = -1;
	*intCol3_ind = -1;
	*intCol4_ind = -1;



	switch (SQLUDF_CALLT) {
		case SQLUDF_TF_OPEN:		/* Open table.       */
			/* store the pointer on the scratchpad */
			scratch->p = inputStr;
			/**
			if ( (*inputStr_ind == -1) || (*scratch->p) ) {
				strcpy(SQLUDF_MSGTX, "input is null, inputStr=");
				strncat(SQLUDF_MSGTX, inputStr, SQLUDF_MSGTEXT_LEN - strlen(SQLUDF_MSGTX)-1);
				strncpy(SQLUDF_STATE, "38200", SQLUDF_SQLSTATE_LEN);
				return;
			}
			**/
			scratch->rowNumber = 0;

			break;

		case SQLUDF_TF_FETCH:		/* Fetch next row.   */
			/* count the row */
			scratch->rowNumber++;

			if ( !(*scratch->p) ) {
				/* end of string reached */
				strncpy(SQLUDF_STATE, SQL_NODATA_EXCEPTION, SQLUDF_SQLSTATE_LEN);
				return;
			}
			
			//ID字段
			*intId = scratch->rowNumber;
			*intId_ind = 0;

			//第一个字符串字段
			tp = tempStr;
			//sprintf(SQLUDF_MSGTX, "scratch->p=%s", scratch->p);
			while( *scratch->p && ( (*scratch->p) != '|' ) ) 
			{ 
				*tp++ = *scratch->p++; 
			}
			if(tp != tempStr)
			{
				*tp = '\0';
				strcpy(charCol,tempStr);
				*charCol_ind = 0;
			}
			else
			{
				//sprintf(SQLUDF_MSGTX, "tp=%p,tempStr=%p", tp,tempStr);
				//strcat(SQLUDF_MSGTX,", scratch->p=");
				//strcat(SQLUDF_MSGTX,scratch->p);
				//strcat(SQLUDF_MSGTX,", tempStr=");
				//strcat(SQLUDF_MSGTX,tempStr);
				sprintf(SQLUDF_MSGTX, "Could not read string value in line %d col 1 : %s", scratch->rowNumber,scratch->p);
				strncpy(SQLUDF_STATE, "38201", SQLUDF_SQLSTATE_LEN);
				return;
			}

			//memset(tempStr,'\0',20+1); 
			if( ( (*scratch->p) == ';' ) || ( (*scratch->p) == '|' ) ) scratch->p++;


			//字段2
			tp = tempStr;
			while( *scratch->p && ( (*scratch->p) != '|' ) ) 
			{ 
				*tp++ = *scratch->p++; 
			}
			if(tp != tempStr)
			{
				*tp = '\0';
				strcpy(intValue,tempStr);
				if (sscanf(intValue, "%lld", intCol1) != 1) {
					sprintf(SQLUDF_MSGTX, "Invalid integer value %s in row %d col 2", intValue, scratch->rowNumber);
					strncpy(SQLUDF_STATE, "38202", SQLUDF_SQLSTATE_LEN);
					return;
				}
				*intCol1_ind = 0;
			}
			else
			{
				sprintf(SQLUDF_MSGTX, "Could not read string value in line %d col 2 : %s", scratch->rowNumber,scratch->p);
				strncpy(SQLUDF_STATE, "38201", SQLUDF_SQLSTATE_LEN);
				return;
			}

			//memset(tempStr,'\0',20+1);    
			if( ( (*scratch->p) == ';' ) || ( (*scratch->p) == '|' ) ) scratch->p++;

			//字段3
			tp = tempStr;
			while( *scratch->p && ( (*scratch->p) != '|' ) ) 
			{ 
				*tp++ = *scratch->p++; 
			}
			if(tp != tempStr)
			{
				*tp = '\0';
				strcpy(intValue,tempStr);
				if (sscanf(intValue, "%lld", intCol2) != 1) {
					sprintf(SQLUDF_MSGTX, "Invalid integer value %s in row %d col 3", intValue, scratch->rowNumber);
					strncpy(SQLUDF_STATE, "38202", SQLUDF_SQLSTATE_LEN);
					return;
				}
				*intCol2_ind = 0;
			}
			else
			{
				sprintf(SQLUDF_MSGTX, "Could not read string value in line %d col 3 : %s", scratch->rowNumber,scratch->p);
				strncpy(SQLUDF_STATE, "38201", SQLUDF_SQLSTATE_LEN);
				return;
			}

			//memset(tempStr,'\0',20+1);      
			if( ( (*scratch->p) == ';' ) || ( (*scratch->p) == '|' ) ) scratch->p++;


			//字段4
			tp = tempStr;
			while( *scratch->p && ( (*scratch->p) != '|' ) ) 
			{ 
				*tp++ = *scratch->p++; 
			}
			if(tp != tempStr)
			{
				*tp = '\0';
				strcpy(intValue,tempStr);
				if (sscanf(intValue, "%lld", intCol3) != 1) {
					sprintf(SQLUDF_MSGTX, "Invalid integer value %s in row %d col 4", intValue, scratch->rowNumber);
					strncpy(SQLUDF_STATE, "38202", SQLUDF_SQLSTATE_LEN);
					return;
				}
				*intCol3_ind = 0;
			}
			else
			{
				sprintf(SQLUDF_MSGTX, "Could not read string value in line %d col 4 : %s", scratch->rowNumber,scratch->p);
				strncpy(SQLUDF_STATE, "38201", SQLUDF_SQLSTATE_LEN);
				return;
			}

			//memset(tempStr,'\0',20+1);  
			if( ( (*scratch->p) == ';' ) || ( (*scratch->p) == '|' ) ) scratch->p++;


			//字段5
			tp = tempStr;
			while( *scratch->p && ( (*scratch->p) != ';' ) ) 
			{ 
				*tp++ = *scratch->p++; 
			}
			if(tp != tempStr)
			{
				*tp = '\0';
				strcpy(intValue,tempStr);
				if (sscanf(intValue, "%lld", intCol4) != 1) {
					sprintf(SQLUDF_MSGTX, "Invalid integer value %s in row %d col 5", intValue, scratch->rowNumber);
					strncpy(SQLUDF_STATE, "38202", SQLUDF_SQLSTATE_LEN);
					return;
				}
				*intCol4_ind = 0;
			}
			else
			{
				sprintf(SQLUDF_MSGTX, "Could not read string value in line %d col 5 : %s", scratch->rowNumber,scratch->p);
				strncpy(SQLUDF_STATE, "38201", SQLUDF_SQLSTATE_LEN);
				return;
			}

			//if( ( (*scratch->p) == ';' ) || ( (*scratch->p) == '|' ) ) scratch->p++;
			if( (*scratch->p) == ';' ) scratch->p++;

			break;

		case SQLUDF_TF_CLOSE:		
			scratch->p = NULL;
			scratch->rowNumber = 0;
	}
}


 

3      编译程序：

 /opt/IBM/db2/V9.5/samples/c/bldrtn gprsSplit_udf mydbname

4      新建函数：

--drop function gprsSplit;
CREATE FUNCTION gprsSplit(recordextensionVARCHAR(1025))
   RETURNS TABLE (idint,busi_typeVARCHAR(10),durationbigint,up_flowbigint,down_flowbigint,feebigint)
   SPECIFIC gprsSplit
   EXTERNAL NAME 'gprsSplit_udf!gprsSplit'
   LANGUAGE C
   PARAMETER STYLE SQL
   DETERMINISTIC
   --NOT DETERMINISTIC
   --FENCED
   NOT FENCED
   RETURNS NULL ON NULL INPUT
   NO SQL
   NO EXTERNAL ACTION
   SCRATCHPAD
   NO FINAL CALL
   DISALLOW PARALLEL
   --ALLOW PARALLEL EXECUTE ON ALL DATABASE PARTITIONS RESULT TABLEDISTRIBUTED
   CARDINALITY 2;

 

 

期间经过几次优化：

1、刚开始采用DETERMINISTIC、FENCED、DISALLOW PARALLEL、SCRATCHPAD，测试基准性能为680s

2、增加CARDINALITY 2性能提升一倍，为330s

3、改成NOT FENCED，性能大幅提升，为39s

4、虽然重复数据不多，但采用NOTDETERMINISTIC比DETERMINISTIC性能还是有1/3的提升

5、ALLOW PARALLELEXECUTE ON ALL DATABASE PARTITIONS RESULT TABLE DISTRIBUTED无法使用，会导致数据重复，存在多少个节点，重复多少次

6、NOT FENCED存在部分风险，此种模式自定义函数在DB2内存空间中运行，如果存在代码问题，可能会造成DB2崩溃

 

 

5      结果：

采用c自定义函数，并设置为NOT FENCED模式后，生产环境原数据处理，从原来的80分钟，缩短为当前的12分钟，性能大幅提升，瓶颈基本为磁盘阵列IO速度，完全满足当前要求

 

huanghelang
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一文带你了解三大开源关系型数据库：SQLite、MySQL和PostgreSQL
dvlinker的技术专栏
10-08 4万+
一文带你了解三大开源关系型数据库：SQLite、MySQL和PostgreSQL。
JavaScript学习笔记
weixin_42530002的博客
11-04 5853
一、JavaScript 1、字符串 (1)、验证码 (2)、将字符串按照单词进行逆序，空格作为划分单词的唯一条件 (3)、对称数组 (4)、已知一个字符串对象中,英语单词用各种非字母字符分割，统计单词个数 (5)、判断单个字符是否是字母(包含大小写) (6)、实现函数，查找子串出现的次数，返回字符串str中出现substring的次数 (7)、判断是否为邮箱，已知千锋邮箱的用户名只能由数字字母下划线组成，域名为@1000phone.com, (8)、判断单个字符是否符合数字字母下划线 (9)、敏感词过滤
c语言查询DB2数据库开发+db2嵌入式c语言开发整理
01-29
c语言查询db2数据库，文档有个人在codeblocks中的环境配置截图案例，也有转载网友的此方面较全面的开发总结
db2 编译C 自定义函数
怀素的专栏
09-04 995
#include #include #include #include #include #include //Macro for iendity the blanks #define isSpaces(ch) (ch == ' ' || ch == '\t' || ch == '\r' || ch == '\b' || ch
DB2 自定义函数
nahanai的博客
11-20 5469
1、查询DB2的系统函数 select body from syscat.functions where funcname='函数名称' body 中存放的是函数的具体内容 2、标量函数 create function 函数名（参数 参数类型）   returns 返回值类型 no external action begin atomic        return       ...
DB2自定义函数（C语言）
偶一二
06-17 6232
1      总体介绍 基于DB2 V9.5 1.1    用户自定义函数（UDF） DB2 内部提供了大量的函数，但仍然不足以满足业务千奇百怪的需要。不过DB2提供了用户自定义函数（User Defined Function，简称 UDF）功能。DB29.5版本的自定义函数实现，除过DB2自带的 SQL PL，还支持高级语言，包括： ADO.NET .NET Common
基于c语言的db2数据库开发,DB2日志(2) 用C语言扩展实现DB2日志管理及主备同步
weixin_34602954的博客
05-21 228
还好DB2提供了相关的USEREXIT程序(又名用户出口程序)可以使我们管理日志文件并有了扩展功能的可能性．在这一点上DB2明显要比Oracle开放些．实现1.首先将USEREXIT接口打开,让数据库支持USEREXIT程序--查看当前状态(Windows环境下)db2 get db cfg for XCLDB2 |find /I "userexit"--打开userexitdb2 update ...
面试技巧 面试复盘 编程技术 架构 看这一篇就够了
china19931017的博客
11-25 2182
神经网路与深度学习 Kubernetes实战 大型网站性能监测、分析与优化 Flume日志收集与MapReduce模式 ZooKeeper：分布式过程协同技术详解 自己动手写Java虚拟机 Java WebSocket编程 开发、部署和保护动态Web应用 SpringBoot揭秘：快速构建微服务体系 Web全栈工程师的自我修养 Apache Spark源码剖析 Wireshark数据包分析实战详解 深入剖析Tomcat-网上版本不够清晰 故重做 Kafka技术内幕 图文详解Kafka
【Docker技术入门与实践（第2版）】Docker入门_学习笔记
DreamSeeker_1314的博客
11-23 2288
第一章 1 Docker入门须知 1.1 Docker基本知识        Docker是基于Go语言实现的开源容器项目，诞生于2013年年初，最初发 起者是dotCloud公司。Docker自开源后受到广泛的关注和讨论，目前已有多个相关项目(包括Docker三剑客、Kubernetes等)，逐渐形成了围绕Docker容器的生态体系。现在主流的Linux操作系统都已经支持Docker。例如...
db2调自定义函数(小例)
08-07
db2调自定义函数的几个小例题，可以用于借鉴一下。
db2中自定义函数文档
05-02
db2 中如何去自定义函数，和各种函数应该如何去使用
基于c语言的db2数据库开发,DB2自定义函数（C语言）实战
weixin_33037813的博客
05-21 432
1需求某表存在如下数据：4000000001|0|16217|43523|04000000004|0|740|464|0;4000000001|0|2717|15394|01030000004|0|1074|104|0;4000000004|0|104|104|0;4000000001|0|5219|3582|04000000001|0|150129|1285711|0;1040000...
DB2存储过程属性说明
CODER
11-27 1556
procedureName：存储过程的名字，在同一个数据库的同一模式下，不能存在 存储过程名相同，参数数目相同的存储过程，即使参数的类型不同也不行(in|out|inout paramName dataType, …)：传入参数 in：输入参数，out：输出参数，inout：作为输入输出参数 dataType：参数类型，可以接收SQL类型和创建的表，不支持long va
自定义函数(UDF)
水墨江南
01-18 765
DB2 Universal Database（DB2 UDB）用户定义函数（user-defined functions，UDF）允许您添加自己的函数定义，从而扩展 DB2 的内置函数。有了这些用户定义函数，就可以通过编写自己的用于事务、计算等方面的函数来定制 DB2，以满足业务需求。 UDF 鼓励代码重用，这样可以提高应用程序开发人员的生产率。如果您有很多实现相同逻辑的程序，那么可以通过 UD...
基于c语言的db2数据库开发,db2开发嵌入c语言总览
weixin_35933239的博客
05-21 366
作者mydisc12014-07-18 15:44系统运维工程师, IBMdb2开发嵌入c语言总览字数 2287阅读 664评论 0赞 0db2开发总览：1：嵌入c语言开发的语法要求Correct C and C++ Element SyntaxStatement initializerEXEC SQLStatement stringAny valid SQL statementStatement...
DB2—03（DB2中常见基础操作 ➕ DB2实现递归查询 ➕ DB2中自定义递归函数）
最新发布
@素素~的博客
11-22 1504
DB2—03（DB2中常见基础操作 ➕ DB2实现递归查询 ➕ DB2中自定义递归函数）
db2 c语言,DB2数据库安全（二）——身份认证
weixin_33866002的博客
05-25 742
根据《循序渐进DB2》(牛新庄)第13章内容整理身份认证(authentication)1.什么时候进行身份认证DB2身份认证 控制数据库安全性策略的以下方面：谁有权访问实例或数据库在哪里以及如何校验用户的 密码在发出attach和connect命令时，它借助于底层操作系统的安全特性实现对DB2用户的身份认证。attach命令用来连接实例。connect命令用来连接实例中的数据库。下面的示例展示了...
db2自定义函数能返回几个参数_db2创建自定义函数参数问题
05-25
DB2自定义函数可以返回一个或多个参数，具体取决于您在创建函数时定义的返回类型。在DB2中，您可以使用CREATE FUNCTION语句来创建自定义函数，并且可以指定函数的返回类型和参数列表。 下面是一个DB2自定义函数的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值