SSAS维度成员中的非法XML字符[转]

解决维度成员中的非法Xml字符导致的查询错误

问题描述

最近在项目中遇到这么个情况,在展开维度成员的时候,服务端抛出了"The server sent an unrecognizable response"的异常,看了下异常细节,给出的错误信息是"hexadecimal value 0x01, is an invalid character. Line 1, position 6771. (System.Xml)"(十六进制0x01是无效字符,行1,位置6771)

 

我遇到的真实案例

某项目中,代理商名称中出现了一个多余的内码,导致Analyzer在拖代理商名称时候总是没有数据,而且在做筛选时候报错。

计算机生成了可选文字: 口口难度曰以o.mAgentGeneral国:兰Agentoesc田荟邑Agent10田荟:AgentName国荟邑AgentTv阵困非oty田荟邑GeneralAgen卿田荟邑Province田荟:肋gion国逮产品曰以代理商田兰:代理商名称国兰:代理商描述国兰:代理商类型国兰:代理商编号田器区域田非城市国荟:总代名称________曰_韶_省份________X数据透视表2请将过虑条件维度拖动至、「卜}______1且分折-______争系统讯息月民务器错误:""(+六进制值0x护)是无效的字符。行1,位置53874。}臼、。知系、*管.甲员COmDan.C.r〕O详细技术讯息

 

问题解决

出现这样问题的原因在于,微软的Analysis Service使用XMLAXML for Analysis)语言和其他客户端进行交互,包括执行

MdxDMXSql等。如果服务端返回的成员(关键列、名字、标题、成员值等)含有一些非打印字符的话,那么就无法直接在Xml

中表示,这样就会导致客户端无法解析返回的Xml响应,而出现上述的错误

Analysis ServiceProcess的时候,出于性能考虑默认情况下是不会对数据进行这种Xml非法字符的检测。不过Analysis Service

提供了一个设置开关,允许我们在处理阶段检测这些非法字符,并做一定的规范化处理。在BIDS中,我们打开维度属性的属性面板

有一个 InvalidXmlCharacters的设置,如下图所示:

默认情况下其值为Preserve,也就是保留这些非法字符。它还有其他两个选项。Remove表示移除这些非法字符,只保留合法

Xml字符。Replace表示使用问号?替换非法字符,一个非法字符对应一个问号。 在实际应用中,InvalidXmlCharacters需要根据

项目的实际情况进行设置。如果对数据的这种清理可以放到ETL阶段,那么最好放到ETL 阶段,因为这样可以加快Analysis Service

理的速度。否则就只能在Process的时候做检测了。对于RemoveReplace,我比较倾向于选择Remove。因为既然已经是非打印字

符了,用问号代替固然能够和其他数据区分开来,但是对于最终用户来说,大部分情况下只会增加他们的迷惑而已。

 

剔除非法Xml字符

Xml 1.0规范(第五版,06/11/2008)的2.2一节中提到了Xml合法字符的范围:

/* any Unicode character, excluding the surrogate blocks, FFFE, and FFFF. */
Char : : = #x9 | #xA | #xD | [#x20 -#xD7FF] | [#xE000 -#xFFFD] | [#x10000 -#x10FFFF]

规范中建议,所有Xml处理器都应该正确处理上述范围的这些字符。

我们可以在处理字符串的时候使用正则表达式剔除掉非法的Xml字符,以保证最终进入Analysis Service的字符都是Xml合法字符。

[^\x09\x0A\x0D\x20-\uD7FF\uE000-\uFFFD\u10000-\u10FFFF]

对应的C#代码如下,出于性能考虑,可以将函数内部的正则表达式存储为成员变量,并设置为预编译模式。

public static String StripInvalidXmlChars(String input)
{
    Regex re = new Regex(@ "[^\x09\x0A\x0D\x20-\uD7FF\uE000-\uFFFD\u10000-\u10FFFF]");
    return re.Replace(input, "");
}





Python网络爬虫与推荐算法新闻推荐平台:网络爬虫:通过Python实现新浪新闻的爬取,可爬取新闻页面上的标题、文本、图片、视频链接(保留排版) 推荐算法:权重衰减+标签推荐+区域推荐+热点推荐.zip项目工程资源经过严格测试可直接运行成功且功能正常的情况才上传,可轻松复刻,拿到资料包后可轻松复现出一样的项目,本人系统开发经验充足(全领域),有任何使用问题欢迎随时与我联系,我会及时为您解惑,提供帮助。 【资源内容】:包含完整源码+工程文件+说明(如有)等。答辩评审平均分达到96分,放心下载使用!可轻松复现,设计报告也可借鉴此项目,该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的。 【提供帮助】:有任何使用问题欢迎随时与我联系,我会及时解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 【项目价值】:可用在相关项目设计,皆可应用在项目、毕业设计、课程设计、期末/期/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 下载后请首先打开README文件(如有),项目工程可直接复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值