c#爬取Silverlight网页

前言:

爬取普通的文本网页非常容易,但爬取Silverlight的网页代码时,有时候可能会加密。这样就会很麻烦了。下面就爬取网站http://zx.bjmemc.com.cn/ (北京空气质量网)进行说明。

任务:

网站http://zx.bjmemc.com.cn/显示的内容如下图所示。我们的任务就是将空气质量数据抓取下来。


工具:

1、fiddler,http://www.telerik.com/fiddler,一款优秀的网页请求分析工具

2、reflector,http://download.csdn.net/detail/qing_lgq/6764265,.net源码破解工具

步骤

1、安装fiddler和reflector,并破解reflector。注意,下载、安装和破解reflector的时候请关闭杀毒软件,内有注册机,可能会被杀毒软件直接删除。

2、打开fiddler,使之处于监听状态。

3、用浏览器打开网页:http://zx.bjmemc.com.cn/。(此网站做得非常好,为了防止爬取,一旦用户打开浏览器自带的developer tool,就不会加载任何东西,为他们点个赞,这就是为什么我们必须用fiddler等分析工具的原因)

4、待网页加载完毕,fiddler便已经抓取到了所有的网页请求,如下图所示。在此简要说明一下fiddler的页面布局。左侧是所有的网页请求,右上是发送请求信息,右下是对应的接收信息。最下边状态栏的左边有两个按钮,左侧的是监听开关(下图是关闭状态,未显示该按钮),右侧的ie图标是监听对象,可以选择监听网页请求、非网页请求还是所有进程的请求。注意请求信息和接收信息窗口都有很多tag,根据自己的需求切换。


5、在fiddler左侧找到网页的直接请求,即上图的左侧的第二项,返回信息窗口的tag切换到textview。在窗口的搜索框输入xap,快速找到<param name="source" value="ClientBin/BEPB.xap"/>,其中的value属性值就是后台Silverlight的代码。

6、将ClientBin/BEPB.xap与当前网页网址拼接为http://zx.bjmemc.com.cn/ClientBin/BEPB.xap,用浏览器打开,浏览器自动下载BEPB.xap文件。

7、修改BEPB.xap文件名后缀为BEPB.zip,用压缩文件解压缩,得到的文件夹内容如下图所示。这些就是Silverlight后台文件以及引用文件。其中BEPB.dll是该Silverlight项目的核心文件。


8、用reflector打开BEPB.dll,如下图所示。左侧是方法名/命名空间名,右侧是对应的代码。接下来便是一个痛苦的过程了,得一个一个分析,找到密钥。但是还是有章可循。


9、fiddler继续上场。如下图所示。经过分析,获得空气质量数据的是第7个请求,选中它,右下部分的返回信息窗口的tag选择HexView,表示以十六进制显示。右上部分发送信息窗口选择Raw,可是发送时post的数据调用了DataService下的GetWebData方法,在reflector的搜索框中输入此两个关键字,如此顺藤摸瓜,便能很快找到加密的密码。


10、上图右下返回信息窗口的hexview中,两端有部分信息并不是加密信息,分析需要将返回信息的两端无用字节删除。

以下附上Silverlight加解密的代码。具体抓取代码便不公布了,具体情况具体分析,这里只是提供一个大体思路。

/// <summary>
/// hmacSha1算法加密(生成长度40)
/// </summary>
/// <param name="signatureString">加密明文</param>
/// <param name="secretKey">加密密钥</param>
/// <param name="raw_output">是否输出原始编码</param>
/// <returns></returns>
public static object hmacSha1(string signatureString, string secretKey, bool raw_output = false)
{
	var enc = Encoding.UTF8;
	HMACSHA1 hmac = new HMACSHA1(enc.GetBytes(secretKey));
	hmac.Initialize();

	byte[] buffer = enc.GetBytes(signatureString);
	if (raw_output)
	{
		return hmac.ComputeHash(buffer);
	}
	else
	{
		return BitConverter.ToString(hmac.ComputeHash(buffer)).Replace("-", "").ToLower();
	}
}

/// <summary>
/// 使用AES加密字符串
/// </summary>
/// <param name="encryptString">待加密字符串</param>
/// <param name="encryptKey">加密密匙</param>
/// <param name="salt">盐</param>
/// <returns>加密结果,加密失败则返回源串</returns>
public static string EncryptAES(string encryptString, string encryptKey, string salt)
{
	AesManaged aes = null;
	MemoryStream ms = null;
	CryptoStream cs = null;

	string str = null;

	try
	{
		Rfc2898DeriveBytes rfc2898 = new Rfc2898DeriveBytes(encryptKey, Encoding.UTF8.GetBytes(salt));

		aes = new AesManaged();
		aes.Key = rfc2898.GetBytes(aes.KeySize / 8);
		aes.IV = rfc2898.GetBytes(aes.BlockSize / 8);

		ms = new MemoryStream();
		cs = new CryptoStream(ms, aes.CreateEncryptor(), CryptoStreamMode.Write);

		byte[] data = Encoding.UTF8.GetBytes(encryptString);
		cs.Write(data, 0, data.Length);
		cs.FlushFinalBlock();

		str = Convert.ToBase64String(ms.ToArray());
	}
	catch
	{
		str = encryptString;
	}
	finally
	{
		if (cs != null)
			cs.Close();

		if (ms != null)
			ms.Close();

		if (aes != null)
			aes.Clear();
	}

	return str;
}

/// <summary>
/// 使用AES解密字符串
/// </summary>
/// <param name="decryptString">待解密字符串</param>
/// <param name="decryptKey">解密密匙</param>
/// <param name="salt">盐</param>
/// <returns>解密结果,解谜失败则返回源串</returns>
public static string DecryptAES(string decryptString, string decryptKey, string salt)
{
	AesManaged aes = null;
	MemoryStream ms = null;
	CryptoStream cs = null;

	string str = null;

	try
	{
		Rfc2898DeriveBytes rfc2898 = new Rfc2898DeriveBytes(decryptKey, Encoding.UTF8.GetBytes(salt));

		aes = new AesManaged();
		aes.Key = rfc2898.GetBytes(aes.KeySize / 8);
		aes.IV = rfc2898.GetBytes(aes.BlockSize / 8);

		ms = new MemoryStream();
		cs = new CryptoStream(ms, aes.CreateDecryptor(), CryptoStreamMode.Write);

		byte[] data = Convert.FromBase64String(decryptString);
		cs.Write(data, 0, data.Length);
		cs.FlushFinalBlock();

		str = Encoding.UTF8.GetString(ms.ToArray(), 0, ms.ToArray().Length);
	}
	catch
	{
		str = decryptString;
	}
	finally
	{
		if (cs != null)
			cs.Close();

		if (ms != null)
			ms.Close();

		if (aes != null)
			aes.Clear();
	}

	return str;
}


展开阅读全文

Git 实用技巧

11-24
这几年越来越多的开发团队使用了Git,掌握Git的使用已经越来越重要,已经是一个开发者必备的一项技能;但很多人在刚开始学习Git的时候会遇到很多疑问,比如之前使用过SVN的开发者想不通Git提交代码为什么需要先commit然后再去push,而不是一条命令一次性搞定; 更多的开发者对Git已经入门,不过在遇到一些代码冲突、需要恢复Git代码时候就不知所措,这个时候哪些对 Git掌握得比较好的少数人,就像团队中的神一样,在队友遇到 Git 相关的问题的时候用各种流利的操作来帮助队友于水火。 我去年刚加入新团队,发现一些同事对Git的常规操作没太大问题,但对Git的理解还是比较生疏,比如说分支和分支之间的关联关系、合并代码时候的冲突解决、提交代码前未拉新代码导致冲突问题的处理等,我在协助处理这些问题的时候也记录各种问题的解决办法,希望整理后通过教程帮助到更多对Git操作进阶的开发者。 本期教程学习方法分为“掌握基础——稳步进阶——熟悉协作”三个层次。从掌握基础的 Git的推送和拉开始,以案例进行演示,分析每一个步骤的操作方式和原理,从理解Git 工具的操作到学会代码存储结构、演示不同场景下Git遇到问题的不同处理方案。循序渐进让同学们掌握Git工具在团队协作中的整体协作流程。 在教程中会通过大量案例进行分析,案例会模拟在工作中遇到的问题,从最基础的代码提交和拉、代码冲突解决、代码仓库的数据维护、Git服务端搭建等。为了让同学们容易理解,对Git简单易懂,文章中详细记录了详细的操作步骤,提供大量演示截图和解析。在教程的最后部分,会从提升团队整体效率的角度对Git工具进行讲解,包括规范操作、Gitlab的搭建、钩子事件的应用等。 为了让同学们可以利用碎片化时间来灵活学习,在教程文章中大程度降低了上下文的依赖,让大家可以在工作之余进行学习与实战,并同时掌握里面涉及的Git不常见操作的相关知识,理解Git工具在工作遇到的问题解决思路和方法,相信一定会对大家的前端技能进阶大有帮助。
©️2020 CSDN 皮肤主题: 书香水墨 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值