C#获取远程网页中的所有链接URL（网络蜘蛛实现原理）

最新推荐文章于 2019-07-06 19:46:03 发布

fzzsh

最新推荐文章于 2019-07-06 19:46:03 发布

阅读量913

点赞数

分类专栏： C#.NET 文章标签： c# 网络 url regex string class

C#.NET 专栏收录该内容

73 篇文章 0 订阅

订阅专栏

using System;
using System.Net;
using System.Text;
using System.Text.RegularExpressions;

namespace HttpGet
{
    class Class1
    {
        [STAThread]
        static void Main(string[] args)
        {
            System.Net.WebClient client = new WebClient();
            byte[] page = client.DownloadData("http://news.163.com");
            string content = System.Text.Encoding.UTF8.GetString(page);
            string regex = "href=[///"///'](http://|//.///|///)?//w+(//.//w+)*(/w+(//.//w+)?)*(///|//?//w*=//w*(&//w*=//w*)*)?[///"///']";
            Regex re = new Regex(regex);
            MatchCollection matches = re.Matches(content);

            System.Collections.IEnumerator enu = matches.GetEnumerator();
            while (enu.MoveNext() && enu.Current != null)
            {
                Match match = (Match)(enu.Current);
                Console.Write(match.Value + "/r/n");
            }
        }
    }
}