当采集中的url包含%2F时

请的一次信息抓取的时候,URI中包含%2F,但在URI虽包含的%2F的都转成/,如web.com/%2F 显示的是web//,导致地址出错。有时候如worda%2Fwordb,代表一个关键词,而转换后worda/wordb,成目录了,2次编码也能解决,,很显然,URI把地址给转换或者说是标准化了,但有时候却不对,具说之方法是作者在stackoverflow中找到解方法的。

解决方法:

static void ForceCanonicalPathAndQuery(Uri uri)

{

string paq = uri.PathAndQuery; // need to access PathAndQuery

FieldInfo flagsFieldInfo = typeof(Uri).GetField("m_Flags", BindingFlags.Instance | BindingFlags.NonPublic);

ulong flags = (ulong)flagsFieldInfo.GetValue(uri);

flags &= ~((ulong)0x30); // Flags.PathNotCanonical|Flags.QueryNotCanonical

flagsFieldInfo.SetValue(uri, flags);

}

调试:

Uri uri = new Uri("xxx.com/%2F");
ForceCanonicalPathAndQuery(uri);

 

希望有其它方法...

转载于:https://www.cnblogs.com/rockdean/articles/2365237.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值