HANA:传参，游标（Cursor）应用，FOR循环，解决存储表内存溢出的问题

已于 2024-01-15 13:52:30 修改
阅读量1.4k 收藏 27
点赞数 23
分类专栏： HANA BW/4 HANA 数据库 文章标签： 数据库 hana bw bi 数据分析 sql
于 2024-01-15 11:41:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45362398/article/details/135596076
版权
BW/4 HANA 同时被 3 个专栏收录
33 篇文章 9 订阅
订阅专栏
HANA
24 篇文章 2 订阅
订阅专栏
数据库
3 篇文章 0 订阅
订阅专栏
本文讲述了在使用HANA开发项目时遇到的内存溢出问题，通过将计算视图的中间结果落地存储并利用分包逻辑，解决了内存占用过大和查询速度慢的问题。作者分享了如何定义参数、传递参数以及使用HANA游标和FOR循环来实现分批处理的方法。
摘要由CSDN通过智能技术生成

作者 idan lian  如需转载备注出处

1.应用场景

最近项目上用HANA开发的比较多，之前我是bw用的比较多，就不会有这种问题。我们这个项目很多都是开发的计算视图，但最近做acdoca的逻辑时，计算视图在生产环境执行的时候报错，报的内存溢出，acdoca上亿的数据，直接用计算视图确实跑不出来，跑出来也要跑很久，内存溢出的报错如下这种。

想解决内存溢出和查询慢的这个问题，只有把中间过程落地存储成数据库表了，有点类似BW ADSO的分层，但是HANA分层直接插入数据库表的时候，插入数据的时候也是直接去处理acdoca全部的数据，依然报错，内存溢出。

BW ADSO建模为什么不报错呢。因为adso存储的时候执行DTP。是分包跑的，就是acdoca几亿的 数据量，我也是根据包大小去分开上千个包执行落地的，这次的解决方案就是模仿这种逻辑

2.实现步骤

定义参数：对HANA最底层视图定义参数，在HANA中间层视图也创建一个相同的参数

参数传递：

在中间层把中间层的视图传递给最底层，

创建存储过程时根据定义的游标，按字段的不通去for循环分开循环执行，字段的值会传递到中间层参数，从而传递到最底层视图的参数，限制最底层数据，实现类似的分包处理。

3.传参，HANA游标,及FOR循环

上面想到了解决办法，怎么实现呢，大体的思路就是分公司或者分期间，去循环执行存储过程，这样可以有效减少最底层处理的数据量，解决内存溢出的问题，执行这个的时候一定要注意，你的计算视图逻辑里，有没有跨公司的逻辑，或者跨年的逻辑，如果有，就不能这样分开去处理，我这里用我项目上的为例，是分开按年份执行的，这样可以在内存允许的范围内减少循环次数。

传参：涉及到减少acdoca最底层的计算数据量，那么我中间层按年份执行的变量参数怎么传给最底层呢，这里涉及到定义HANA参数,以及HANA参数的传递，这是我本次需求的最底层视图和中间层定义的参数和参数限制，最底层为图形化视图，主要是acdoca的明细数据，中间层为计算视图，是通用逻辑处理。

3.1传参

首先看参数的创建和传递

基础数据层视图

最底层为ACDOCA模型，如图创建参数

参数限制写在过滤中

中间层视图

中间层为脚本视图，定义参数及参数传递如下

这里参数传递的语法如下：

PLACEHOLDER."$$参数"=>:需要传递的参数

存储过程中的传参

后面会把存储过程的代码贴出来，可以参考

3.2.HANA游标,及FOR循环

游标有些没接触过的比较陌生，先说下根据我百度到的和个人理解的概念

什么是数据库游标？
可以将数据库游标视为指向查询结果中特定行的指针。指针可以从一行移动到下一行。根据游标的类型，您甚至可以将其移动到上一行。
可以这样想：SQL结果就像一个袋子，你可以一次保存一大堆行，但不能单独保存任何一行；而游标就像一把镊子。有了它，你可以把手伸进包里抓一排，然后移到下一个。

这样理解游标是不是很像abap定义内表，定义工作区，for循环就是去循环抓取数据。

特殊说明一下游标的语法

--定义游标表及赋值，游标表的数据为select的字段及数据（类似abap定义内表，内表赋值），

DECLARE CURSOR  游标表 FOR

SELECT DISTINCT 表字段 FROM 查询表";

循环读取数据到R工作区)

FOR 工作区 AS 游标表DO

****数据处理****

FROM 表名(PLACEHOLDER."$$变量$$" =>: 工作区.字段 )--R工作区字段循环传参赋值

END FOR;--结束循环

4.存储代码示例

实现存储过程的代码如下，定义游标关键步骤的注释我都写的很详细，不特殊解释了

create procedure "SAPHANADB".ZPR_insert_ZBWT_DT_BPC as
 /********* Begin Procedure Script ************/ 
BEGIN 
--定义游标表ZGJAHR，游标表的数据为select的字段及数据（类似abap定义内表，内表赋值）
DECLARE CURSOR  ZGJAHR FOR 
SELECT DISTINCT GJAHR FROM "SAPHANADB"."/BIC/AZEFI00012";  

truncate table "SAPHANADB"."ZBWT_DT_BPC";
--执行FOR循环，根据游标数据循环读取到R中，(定义的R我理解有点类似定义abap的工作区，循环读取数据到R工作区)
FOR R AS ZGJAHR DO
insert into "SAPHANADB"."ZBWT_DT_BPC"
SELECT
 "TIME" || ROW_NUMBER()OVER(ORDER BY "TIME","ENTITY")  AS "ID",
	 "TIME",
	 CASE WHEN "ACCOUNT" IS NULL THEN '' ELSE "ACCOUNT" END AS "ACCOUNT",
	 "ENTITY",
	 "ENTITY_TEXT",
	 "INTERCO",
	 "INTERCO_TEXT",
	 "AUDITTRAIL",
	 "CATEGORY",
	 "SCOPE",
	 "RHCUR",
	 "RWCUR",
	 "TYPE",
	 "MISC",
	 "KUNNR",
	 "KIDNO",
	 "ZZYLIU6",
	 "ZZYLIU11",
	 "VTWEG",
	 CASE WHEN "FLOW" IS NULL THEN '' ELSE "FLOW" END AS "FLOW",
	 CASE WHEN  "ZHBHB" IS NULL THEN '' ELSE  "ZHBHB" END AS  "ZHBHB", 	
	 CASE WHEN  "ZLOGIC_CODE" IS NULL THEN '' ELSE  "ZLOGIC_CODE" END AS  "ZLOGIC_CODE", 
	 CASE WHEN  "ZLOGIC_VALUE" IS NULL THEN '' ELSE  "ZLOGIC_VALUE" END AS  "ZLOGIC_VALUE", 
	 "RSTGR",
	 "RFAREA",
	 "DRCRK",
	 "RASSC",
	 "MATKL",
	 CASE WHEN "MATKL_HB" IS NULL THEN '' ELSE "MATKL_HB" END AS "MATKL_HB",
	 CASE WHEN "CODE_QD_D" IS NULL THEN '' ELSE "CODE_QD_D" END AS "CODE_QD_D",
	 CASE WHEN "CODE_QD_E" IS NULL THEN '' ELSE "CODE_QD_E" END AS "CODE_QD_E",
	 "RACCT",
	 "RMVCT",
	 CASE WHEN "LAND1" IS NULL THEN '' ELSE "LAND1" END AS "LAND1",
	 CASE WHEN "REGION" IS NULL THEN '' ELSE "REGION" END AS "REGION",
	 "ZZYLIU10",
	 "MATNR",
	 CASE WHEN "MATNR_TEXT" IS NULL THEN '' ELSE "MATNR_TEXT" END AS "MATNR_TEXT",
	 "BTTYPE",
	 "ZDATE",
	 CASE WHEN "PSPID" IS NULL THEN '' ELSE "PSPID" END AS "PSPID",
	 CASE WHEN "AUFNR" IS NULL THEN '' ELSE "AUFNR" END AS "AUFNR",
	 CASE WHEN "ZZYLIU9" IS NULL THEN '' ELSE "ZZYLIU9" END AS "ZZYLIU9",
	 CASE WHEN "ATTRIBUTE1" IS NULL THEN '' ELSE "ATTRIBUTE1" END AS "ATTRIBUTE1",
	 CASE WHEN "ATTRIBUTE2" IS NULL THEN '' ELSE "ATTRIBUTE2" END AS "ATTRIBUTE2",
	 CASE WHEN "ATTRIBUTE3" IS NULL THEN '' ELSE "ATTRIBUTE3" END AS "ATTRIBUTE3",
	 CASE WHEN "HKONT_SR" IS NULL THEN '' ELSE "HKONT_SR" END AS "HKONT_SR",
	 CASE WHEN "HKONT_CB" IS NULL THEN '' ELSE "HKONT_CB" END AS "HKONT_CB",
	 "PS_POSID",
	 "ZSJLY",
	 "ZSFJS",
	 "ZCHBJ",
	 "WERKS",
	 "NPLNR",
	 "ZDXJT",
	 sum("HSL") AS "HSL",
	 sum("WSL") AS "WSL",
	 sum("MSL") AS "MSL" 
FROM "_SYS_BIC"."ZP_DFYH_BW.ZP_LL/ZCV_DT_BPC"(PLACEHOLDER."$$IP_GJAHR$$" =>:R.GJAHR)--R工作区字段循环传参赋值
GROUP BY "TIME",
	 CASE WHEN "ACCOUNT" IS NULL THEN '' ELSE "ACCOUNT" END,
	 "ENTITY",
	 "ENTITY_TEXT",
	 "INTERCO",
	 "INTERCO_TEXT",
	 "AUDITTRAIL",
	 "CATEGORY",
	 "SCOPE",
	 "RHCUR",
	 "RWCUR",
	 "TYPE",
	 "MISC",
	 "KUNNR",
	 "KIDNO",
	 "ZZYLIU6",
	 "ZZYLIU11",
	 "VTWEG",
	 CASE WHEN "FLOW" IS NULL THEN '' ELSE "FLOW" END,
	 CASE WHEN  "ZHBHB" IS NULL THEN '' ELSE  "ZHBHB" END, 	
	 CASE WHEN  "ZLOGIC_CODE" IS NULL THEN '' ELSE  "ZLOGIC_CODE" END, 
	 CASE WHEN  "ZLOGIC_VALUE" IS NULL THEN '' ELSE  "ZLOGIC_VALUE" END, 
	 "RSTGR",
	 "RFAREA",
	 "DRCRK",
	 "RASSC",
	 "MATKL",
	 CASE WHEN "MATKL_HB" IS NULL THEN '' ELSE "MATKL_HB" END,
	 CASE WHEN "CODE_QD_D" IS NULL THEN '' ELSE "CODE_QD_D" END,
	 CASE WHEN "CODE_QD_E" IS NULL THEN '' ELSE "CODE_QD_E" END,
	 "RACCT",
	 "RMVCT",
	 CASE WHEN "LAND1" IS NULL THEN '' ELSE "LAND1" END,
	 CASE WHEN "REGION" IS NULL THEN '' ELSE "REGION" END,
	 "ZZYLIU10",
	 "MATNR",
	 CASE WHEN "MATNR_TEXT" IS NULL THEN '' ELSE "MATNR_TEXT" END,
	 "BTTYPE",
	 "ZDATE",
	 CASE WHEN "PSPID" IS NULL THEN '' ELSE "PSPID" END,
	 CASE WHEN "AUFNR" IS NULL THEN '' ELSE "AUFNR" END,
	 CASE WHEN "ZZYLIU9" IS NULL THEN '' ELSE "ZZYLIU9" END,
	 CASE WHEN "ATTRIBUTE1" IS NULL THEN '' ELSE "ATTRIBUTE1" END,
	 CASE WHEN "ATTRIBUTE2" IS NULL THEN '' ELSE "ATTRIBUTE2" END,
	 CASE WHEN "ATTRIBUTE3" IS NULL THEN '' ELSE "ATTRIBUTE3" END,
	 CASE WHEN "HKONT_SR" IS NULL THEN '' ELSE "HKONT_SR" END,
	 CASE WHEN "HKONT_CB" IS NULL THEN '' ELSE "HKONT_CB" END,
	 "PS_POSID",
	 "ZSJLY",
	 "ZSFJS",
	 "ZCHBJ",
	 "WERKS",
	 "NPLNR",
	 "ZDXJT";
	END FOR;--结束循环
END

以上方式处理后，再执行存储过程，就会分包处理，不会报错了，如果对大家有帮助希望点赞一下，谢谢，也欢迎评论交流。

Idan Lian
关注
专栏目录
SAP HANA 中调试存储过程
04-25
SAP HANA 中调试存储过程 SAP HANA 中调试存储过程 SAP HANA 中调试存储过程
SAP HANA存储过程中的游标使用(Cursor)
weixin_34302798的博客
04-25 816
-- run 1_datatype_data.sql before running this script ALTER SESSION SET CURRENT_SCHEMA = SqlScriptDocumentation; drop procedure cursor_proc; CREATE PROCEDURE cursor_proc LANGUAGE SQLSCRIPT AS  ...
SAP Hana 数据库游标使用方法示例
拾级而上
03-18 1095
游标使用示例：当zhangsan用户的创建时间更新成当前时间。 DO BEGIN DECLARE CURSOR M_CURR FOR SELECT ID FROM USER WHERE NAME = 'zhangsan'; DECLARE CUR_TIME TIMESTAMP; SELECT CURRENT_TIMESTAMP INTO CUR_TIME FROM dummy; FOR M_CURR_ROW AS M_CURR DO UPDAT
Android学习系列(32)--App调试内存泄露之Cursor篇
dianan1505的博客
11-19 268
最近在工作中处理了一些内存泄露的问题，在这个过程中我尤其发现了一些基本的问题反而忽略导致内存泄露，比如静态变量，cursor关闭，流关闭，线程，定时器，反注册，bitmap等等，我稍微统计并总结了一下，当然了，这些问题这么说起来比较笼统，接下来我会根据问题，把一些实例代码贴出来，一步一步分析，在具体的场景下，用行之有效的方法，找出泄露的根本原因，并给出解决方案。 现在，就从...
循环语句（for）
Zhane
11-19 756
e.g #define _CRT_SECURE_NO_WARNINGS #include <stdio.h> int main() { int i = 0; for (i = 1;i <= 10; i++) { if (i == 5) break; printf("%d", i); } return 0; } 注意省略的使用 #define _CRT_SECURE_NO_WARNINGS #include <stdio.h> int ma..
sql 中CURSOR 的使用
热门推荐
紫叶溪~~
04-13 2万+
CURSOR是游标，常用于脚本处理。这里主要介绍自己常用的方法，同时也会把网上的一般格式进行解释。一、游标一般格式：DECLARE 游标名称 CURSOR FOR SELECT 字段1,字段2,字段3,... FROM 表名 WHERE ...OPEN 游标名称FETCH NEXT FROM 游标名称 INTO 变量名1,变量名2,变量名3,...WHILE @@FETCH_STATUS=0   ...
sqlserver cursor for(游标)
Acmen_cheng的博客
07-19 2050
//申明变量 declare @变量1 int declare @变量2 verchar(100) //定义游标 declare 游标名称 cursor for //获取数据集 select distinct 列1,列2 from 表 //打开游标 open 游标名称 //检索数据到变量 fetch 游标名称 into @变量1，@变量2 //循环检索数据集中的数据,@@fetch_status 对应不同值的意思。0 FETCH 语句成功，-1 FETCH 语句失败或此行不在结果集中，
Oracle使用cursor for隐式游标
crouhsou80631的博客
08-11 538
Oracle使用cursor for隐式游标 除了sql游标之外，Oracle还提供了另一种隐式游标：cursor for游标。这一类游标用于循环。 （1）语法 for 游标变量 in (select语句...
hana：JSON补丁和JSON指针的实现
02-01
哈娜 描述： 和RFC的实现。 功能/问题： 实现和RFC的规范： 这适用于Ruby对象，因此您应该将JSON加载到Ruby，进行处理，然后再次以JSON形式发出。 概要： patch = Hana :: Patch . new [ { 'op' => 'add' , 'path' => '/baz' , 'value' => 'qux' } ] patch . apply ( 'foo' => 'bar' ) # => {'baz' => 'qux', 'foo' => 'bar'} 要求： Ruby 安装： $ gem install hana 发展： hana从。 通过运行以下命令获取git子模块： git submodule init git submodule update 安装依赖项： bundle install 然后使用以下命令运行测试： rake test 执照： （MIT许可证） 版权所有（c）2012-2020 Aaron Patterson 特此免费授予获得此软件和相关文档文件（“软件”）副本的任何人无限制地处理软件的权利，包括
MySQL-存储过程-游标 CURSOR FOR
张子布
04-26 9841
1，游标 游标是一个存储在MySQL服务器上的数据库查询，它不是一条select语句，而是被该语句所检索出来的结果集。 2，定义游标 这个过程并没有检索到数据，只是定义要使用的select语句 DECLARE t_cursor CURSOR FOR SELECT t.id FROM t_dept t; 3，如果没有数据返回或者select出现异常,程序继续,并将变量done设...
cursor之for loop、for update of
Stainky的专栏
09-04 1203
原文地址：http://blog.csdn.net/csdn1234/article/details/4000924 一.游标式for循环 不用显式open和close游标 SQL> DECLARE 2 CURSOR c_orders IS SELECT * FROM orders; 3 v_order orders%ROWTYPE; 4 BEG
存储过程循环写法示例
Believe980的博客
06-28 242
【代码】存储过程循环写法示例。
cursor又
记录成长的每一步
07-26 1435
 游标如果不想一次执行整个命令，我们可以设置一个封装该命令的 游标，然后每次读取几行命令结果。 这么干的一个原因是在结果包含数量非常大的行时避免内存耗尽。 （当然，PL/pgSQL 用户通常不必担心这个， 因为 FOR 循环自动在内部使用一个游标以避免内存问题。） 一个更有趣的用法是某个函数可以返回一个它创建的游标的引用， 这样就允许调用者读取各行。这就提供了一种从函数返回一个结果集的手段。
HANA 存储过程 基础篇
alexbears的博客
07-21 1万+
1. table_type 1.1 自定义table_type  Synatx： CREATE TYPE AS TABLE ([{,}...])  Example：       CREATE TYPE tt_publishers AS TABLE ( publisher INTEGER, name VARCHAR(50), price DECIMAL, cnt INTEGER)
使用boost::hana::while_进行循环的示例程序
最新发布
2301_79326891的博客
09-06 61
最后，我们调用boost::hana::while_函数模板，将termination和initial_state作为参数传递进去，并将fibonacci作为可调用对象传递给返回的函数对象。在这篇文章中，我们将探讨boost::hana::while_的用法，并提供一个示例程序来演示它的功能。然后，我们使用boost::hana::make_tuple创建了一个初始状态initial_state，其中a和b的初始值分别为0和1，i的初始值为0。使用boost::hana::while_进行循环的示例程序。
CURSOR 游标的使用
fu_GAGA的博客
04-23 772
游标概念 SQL是面向集合的，一条SQL语句可以处理多条记录； 主语言是面向记录的，主变量一次只能放进一条记录。 为了协调这两种不同处理方式，引入游标。相当于一个数据缓冲区。 通过游标逐一获取一条记录，并赋给主变量，交由主语言进一步处理。 游标的使用 有些像文件的使用，需要定义声明，打开关闭，操作等等。 前面都要加EXEC SQL，表示执行SQL语句。 （1）说明游标（声明——DECLARE） E...
boost::hana::for_each用法的测试程序
希望我的博客，能帮上你解决学习中工作中所遇到的问题
06-06 317
boost::hana::for_each用法的测试程序实现功能C++实现代码 实现功能 boost::hana::for_each用法的测试程序 C++实现代码 #include <boost/hana/assert.hpp> #include <boost/hana/for_each.hpp> #include <boost/hana/tuple.hpp> #include <sstream> namespace hana = boost::hana; i
在hana1.0数据库中，在存储过程中分别写两个游标循环，循环两张表
06-06
好的，针对你的问题，我来为你解答。 在HANA 1.0数据库中，如果你想在存储过程中使用两个游标循环两张表，可以按照以下方式编写代码： 首先，你需要声明两个游标，如下所示： ``` DECLARE cursor1 CURSOR FOR SELECT col1, col2 FROM table1; DECLARE cursor2 CURSOR FOR SELECT col3, col4 FROM table2; ``` 然后，你需要打开这两个游标并且循环读取数据，如下所示： ``` OPEN cursor1; OPEN cursor2; LOOP FETCH NEXT FROM cursor1 INTO @var1, @var2; IF @@FETCH_STATUS <> 0 THEN LEAVE; -- do something with @var1 and @var2 END LOOP; LOOP FETCH NEXT FROM cursor2 INTO @var3, @var4; IF @@FETCH_STATUS <> 0 THEN LEAVE; -- do something with @var3 and @var4 END LOOP; CLOSE cursor1; CLOSE cursor2; ``` 在这段代码中，我们使用了两个循环，分别对应两个游标。在每个循环中，我们使用 FETCH NEXT 语句从游标中读取下一行数据并将其存储在变量中。然后，我们可以使用这些变量进行一些操作。如果 FETCH NEXT 返回了一个空行，则说明游标已经到达了末尾，我们可以使用 LEAVE 语句跳出循环。最后，我们需要关闭游标。 这里的 table1 和 table2 是你要操作的两张表名，你可以根据实际情况进行修改。 希望这个回答能够解决你的问题。如果你还有其他问题，可以继续问我。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Idan Lian

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值