c#抓取网页内容乱码的解决方案

    写过爬虫的同学都知道，这是个很常见的问题了，一般处理思路是: 使用HttpWebRequest发送请求，HttpWebResponse来接收，判断HttpWebResponse中”Content-Type”中的具体编码，再利用StreamReader 将信息流转为具体的编码就OK了。

下面提供第一种思路的一般方法：

 

这种方法基本上解决了大部分的编码问题。 之所以说基本上也是因为有一些网页，在HttpWebResponse 返回的头部中”Content-Type” 有时候不能正确的匹配到具体编码类型，这个时候就会读到乱码。

下面提供一个我使用的方法，这个方法可以正确的将页面转码：

  public static void getInnerHtmlAuto(string url)
        {
             try
            {
            WebClient wc = new WebClient();
            wc.Credentials = CredentialCache.DefaultCredentials;
            byte[] htmlBuffer = wc.DownloadData(url);
            Regex regex = new Regex("charset\\s*[\\W]?\\s*([\\w-]+)", RegexOptions.IgnoreCase);
            string content=Encoding.Default.GetString(htmlBuffer);
            Encoding encoding=Encoding.Default;
            if(regex.IsMatch(content))
            {
                encoding=Encoding.GetEncoding(regex.Match(content).Groups[1].Value.Trim());
                content=encoding.GetString(htmlBuffer);
            }
             outFileName = "C:\\log\\" + DateTime.Now.ToString().Replace(" ", "").Replace(":", "").Replace("-", "") + ".html";

            using (StreamWriter sw = new StreamWriter(outFileName))//将获取的内容写入文本
            {
                sw.Write(content);
            }

            Console.WriteLine(outFileName);  //输出保存后的文件名
             }
             catch (WebException webEx)
            {
                Console.WriteLine(webEx.Message.ToString());
            }

        }