C# 采集当前页面数据并保存

 private void button1_Click(object sender, EventArgs e)
        {
            try
            {
                WebClient MyWebClient = new WebClient();
                MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于向Internet资源的请求进行身份验证的网络凭据
                Byte[] pageData = MyWebClient.DownloadData("https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/82990803"); //从指定网站下载数据
               // string pageHtml = Encoding.Default.GetString(pageData);
                string pageHtml = Encoding.UTF8.GetString(pageData);  //如果获取网站页面采用的是UTF-8,则使用这句
                                                                     
                pageHtml = Regex.Replace(pageHtml, @"(\<script(.+?)\</script\>)|(\<style(.+?)\</style\>)", "", RegexOptions.IgnoreCase | RegexOptions.Singleline);
                int iBodyStart = pageHtml.IndexOf("<body", 0);
                int iStart = pageHtml.IndexOf("<main", iBodyStart);
                int iTableStart = pageHtml.IndexOf("<article", iStart);
                int iTableEnd = pageHtml.IndexOf("</article>", iTableStart);
                string strWeb = pageHtml.Substring(iTableStart, iTableEnd - iTableStart + 10);
                //删除标签
                var r = new Regex(@"</?[^>]*>", RegexOptions.IgnoreCase);
                Match m;
                for (m = r.Match(strWeb); m.Success; m = m.NextMatch())
                {
                    strWeb = strWeb.Replace(m.Groups[0].ToString(), "");
                }
                Console.WriteLine(strWeb);//在控制台输入获取的内容
                using (StreamWriter sw = new StreamWriter("c:\\test\\ouput.html"))//将获取的内容写入文本
                {
                    sw.Write(strWeb);
                }
                Console.ReadLine();
            }
            catch (WebException webEx)
            {
                Console.WriteLine(webEx.Message.ToString());
            }
        }

 

  • 2
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值