C#爬取

17.8.16学习日志

C#爬取网页信息传递到HTML中

今天我的任务是处理后台页面的SEO信息和安全监测信息，刚开始我查阅资料了解什么是SEO和安全监测，了解到了站长工具这个网站可以查阅SEO和安全监测，但是————这并不是我需要的。。

我需要的是类似接口这样的工具，我传递过去网址以及其他参数，接口返还给我百度及其它搜索引擎收录的网站数目和安全检测结果，但是经过我的调研————首先这种接口基本收费，而且达不到我的需求，在查阅资料之后，我的解决方法是爬取网站信息。

首先打开需要爬取的网站，比如百度,然后在搜索框中加入需要查询的关键字，如我需要的网站收录数目：”site:www.steelhome.cn”，那么点击搜索地址栏出现的就是https://www.baidu.com/s?wd=site%3Awww.steelhome.cn&ie=UTF-8。

接下来就是我们的代码时间

    static void Main(string[] args)
    {
    WebClient MyWebClient = new WebClient();
    MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于向Internet资源的请求进行身份验证的网络凭据
    string x = "https://www.baidu.com//s?wd=site%3Awww.steelhome.cn&ie=UTF-8";
    Byte[] pageData = MyWebClient.DownloadData(x); //从指定网站下载数据
    string pageHtml = Encoding.UTF8.GetString(pageData);  //如果获取网站页面采用的是GB2312，则使用default            
    //Console.WriteLine(pageHtml);//在控制台输入获取的内容
    //Console.ReadKey();
    //StreamWriter sw = new StreamWriter("C:\\Users\\Administrator\\Desktop\\out.txt");
    //sw.Write(pageHtml);
    //sw.Close();
    string start = "备案方：上海钢之家电子商务股份有限公司";
    string end = "到站长平台分析收录量";
    var startIndex = pageHtml.IndexOf(start);
    var endIndex = pageHtml.IndexOf(end);
    string temp = pageHtml.Substring(startIndex + start.Length + 174, endIndex - startIndex - 440);
    Console.WriteLine(temp);//在控制台输入获取的内容
    Console.ReadKey();
    }

最好加上异常处理防止网页出现错误，这里就不加了。

在正式程序中，把main方法换成静态public方法，并返回值，并在模板页文件中的模板选择方法，选择你需要传递到的HTML页面，在HTML页面直接调用就可以了，下面是模板选择方法和HTML中的参数调用

if (templettype == "index")
   {
        t.Context.TempData["baiduseo"] = SEO.baiduSeoList();
        t.Context.TempData["sougouseo"] = SEO.sougouSeoList();
        t.Context.TempData["tszseo"] = SEO.threesixzeroSeoList();
        t.Context.TempData["problems"] = SEO.problemList();
    }

<div class="custom seo">
<h3>SE0信息</h3>
<article>
    百度收录： <span>$baiduseo</span><br>
    搜狗收录： <span>$sougouseo</span><br>
    360收录：  <span>$tszseo</span><br>
</article>
</div>

这就是我的处理方式，日志记录一下。