HttpWebRequest抓取网页内容与直接输入URL得到的内容不一致！球大神帮忙！！

一、前言

我在做一个百度收录情况查询的软件，就是通过软件来批量查询文章链接是否被百度收录，主要是用来查询某个网址的收录次数还有网站的排行数，思路是借鉴别人的。

二、问题描述

首先需要考虑的是能够支持哪些搜索引擎的查询，首先是百度，然后是必应、搜狗、搜搜、360。本来想支持Google但是一想不对，根本不好访问的，所以暂时不算在内。而我们实际要做的就是根据一个网址能够检索出这个网址的在各个搜索引擎的收录次数以及在不同关键词下的网址排行，这里出入的只有网址还有若干的关键词，而输出则是该网址在不同搜索引擎下的收录次数以及在各个关键词下的排行数。

但是这里有个问题，就是排行数，如果检索的网址在前100还好，如果排名很后面，那么问题就来了，那样会让用户等待很长时间才能看到结果，但是用户可能只想知道排行前100的具体排名，而那些超过的则只要显示100以后就可以了，而这些就需要我们前期考虑好，这样后面的程序才好做。

三、解决思路

相信很多人都能够想到，就是利用WebClient将将需要的页面下载下来，然后用正则从中获取我们感兴趣的部分，然后利用程序去处理。而关键难度就是在这个正则的编写。

四、收录次数

首先是网站的收录次数，我们可以在百度中输入site:www.cnblogs.com/然后我们就可以看到如下的页面：

而我们所需要的收录次数就是 5,280,000 这段数字，我们接着查看页面元素：

接着我们再观察其他的搜索引擎可以发现都是类似的，所以我们的思路这个时候应该就得出了，最后就是如何组织网址，这部分我们看地址栏?wd=site%3Awww.cnblogs.com%2F这段就知道怎么写了。

稍等这个时候我们可能心急一个一个实现，这样后面我们就没法集中的调用，同时也会影响以后的新增，所以我们要规定一个要实现收录数功能的抽象类，这样就能够在不知晓具体实现的情况统一使用，并且还能够在以后轻松的新增新的搜索引擎，而这种方式属于策略模式（Stategry），下面我们来慢慢分析出这个抽象类的具体内容。

首先每个实现这个抽象类的具体类都应该是对应某个搜索引擎，那么就需要有一个基本网址，同时还要留下占位符，比如根据上面百度的这个我们就得出这样一个字符串

http://www.baidu.com/s?wd=site%3A{0}

问题：我在做一个百度收录情况查询的软件，就是通过软件来批量查询文章链接是否被百度收录，问题如题，直接上图： 这个是要抓取的网页的地址，直接在浏览器输入结果是：

但是HttpWebRequest获取到的却是 ：

 

完全不知道什么情况？

求解。

转载于:https://www.cnblogs.com/buhuixiedaima/p/4723858.html