关闭

提取网页中的链接并生成xml

标签: stringregexnullurlhtmlxml
1680人阅读 评论(0) 收藏 举报
分类:
using System;
using System.Xml;
using System.Text;
using System.Net;
using System.IO;
using System.Collections;
using System.Text.RegularExpressions;

public class App
{
    public static void Main()
    {
        string strCode;
        ArrayList alLinks; 
        Console.Write("请输入一个网页地址:");
        string strURL = Console.ReadLine();
        if (strURL.Substring(0, 7) != @"http://")
        {
            strURL = @"http://" + strURL;
        } 
        Console.WriteLine("正在获取页面代码,请稍侯...");
        strCode = GetPageSource(strURL);

        Console.WriteLine("正在提取超链接,请稍侯...");
        alLinks = GetHyperLinks(strCode);

        Console.WriteLine("正在写入文件,请稍侯...");
        WriteToXml(strURL, alLinks);
    }

    // 获取指定网页的HTML代码 
    static string GetPageSource(string URL)
    {
        Uri uri = new Uri(URL); 
        HttpWebRequest hwReq = (HttpWebRequest)WebRequest.Create(uri);
        HttpWebResponse hwRes = (HttpWebResponse)hwReq.GetResponse(); 
        hwReq.Method = "Get"; 
        hwReq.KeepAlive = false; 
        StreamReader reader = new StreamReader(hwRes.GetResponseStream(), System.Text.Encoding.GetEncoding("GB2312")); 
        return reader.ReadToEnd();
    }

    // 提取HTML代码中的网址 
    static ArrayList GetHyperLinks(string htmlCode)
    {
        ArrayList al = new ArrayList(); 
        string strRegex = @"http://([\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?"; 
        Regex r = new Regex(strRegex, RegexOptions.IgnoreCase);
        MatchCollection m = r.Matches(htmlCode); 
        for (int i = 0; i <= m.Count - 1; i++)
        {
            bool rep = false;
            string strNew = m[i].ToString();

            // 过滤重复的URL 
            foreach (string str in al)
            {
                if (strNew == str)
                {
                    rep = true;
                    break;
                }
            } 
            if (!rep) al.Add(strNew);
        } 
        al.Sort(); 
        return al;
    }

    // 把网址写入xml文件 
    static void WriteToXml(string strURL, ArrayList alHyperLinks)
    {
        XmlTextWriter writer = new XmlTextWriter("HyperLinks.xml", Encoding.UTF8); 
        writer.Formatting = Formatting.Indented;
        writer.WriteStartDocument(false);
        writer.WriteDocType("HyperLinks", null, "urls.dtd", null);
        writer.WriteComment("提取自" + strURL + "的超链接");
        writer.WriteStartElement("HyperLinks");
        writer.WriteStartElement("HyperLinks", null);
        writer.WriteAttributeString("DateTime", DateTime.Now.ToString()); 
        foreach (string str in alHyperLinks)
        {
            string title = GetDomain(str);
            string body = str;
            writer.WriteElementString(title, null, body);
        } 
        writer.WriteEndElement();
        writer.WriteEndElement(); 
        writer.Flush();
        writer.Close();
    }

    // 获取网址的域名后缀 
    static string GetDomain(string strURL)
    {
        string retVal; 
        string strRegex = @"(\.com/|\.net/|\.cn/|\.org/|\.gov/)"; 
        Regex r = new Regex(strRegex, RegexOptions.IgnoreCase);
        Match m = r.Match(strURL);
        retVal = m.ToString(); 
        strRegex = @"\.|/{1}quot;;
        retVal = Regex.Replace(retVal, strRegex, "").ToString(); 
        if (retVal == "")
            retVal = "other"; 
        return retVal;
    }
}

0
0
查看评论

用正则表达式提取网页中的链接

代码如下:  1    /** *//** The regex for search link with the tag "a&quo...
  • liang0000zai
  • liang0000zai
  • 2014-11-30 20:32
  • 1092

用正则表达式得到网页上的链接

输入一个地址,就可以把那个网页中的链接提取出来,下面这段代码可以轻松实现,主要的是用到了正则表达式。查看例子 http://search.csdn.net/Expert/topic/2131/2131209.xml?temp=.4868585GetUrl.aspx代码如下:   ...
  • 2066
  • 2066
  • 2004-11-12 15:24
  • 2202

提取网页中的超链接

using System; using System.Xml; using System.Text; using System.Net; using System.IO; using System.Collections; using System.Text.RegularExpressions; ...
  • 21aspnet
  • 21aspnet
  • 2007-03-24 17:04
  • 4054

从HTML文档中提取链接

应用Python中的HTMLParser、cookielib抓取和解析网页、从HTML文档中提取链接、图像、文本、... Admin 2011年8月31日 名人名言:开放、搞活政策延续多久,端正党风的工作就得干多久,纠正不正之风,打击犯罪就得干多久,这样才能保证我们开放,搞活政策扔正确执行—...
  • wangzhaopeng0316
  • wangzhaopeng0316
  • 2012-11-21 07:44
  • 1369

【搜索引擎Jediael开发笔记3】使用HtmlParser提取网页中的链接

1、相关资料 官方文档:http://htmlparser.sourceforge.net/samples.html API:http://htmlparser.sourceforge.net/javadoc/index.html 其它HTML 解释器:jsoup等。由于HtmlParser自200...
  • jediael_lu
  • jediael_lu
  • 2014-05-20 20:50
  • 6491

正则表达式抓取页面内所有的超链接

因为最近要做一个类似专业搜索引擎的东西,需要抓取网页的所有超链接。 大家帮忙测试一下子,下面的代码是否可以针对所有的标准超链接。 //如果要轉載本文請注明出處,免的出現版權紛爭,我不喜歡看到那種轉載了我的作品卻不注明出處的人 Seven{See7di#Gmail.com}测试代码如下: ...
  • sibang
  • sibang
  • 2014-08-21 16:38
  • 369

抓取网页信息并获取生成xml文件(以网页彩票数据为例)

一、网页抓取 使用httpclient抓取  传入网页url public static String clientTest(String url){ @SuppressWarnings("deprecation") HttpClient hc=new Defa...
  • happyvx
  • happyvx
  • 2015-10-10 13:36
  • 1881

XML获取网站视频

大家都知道看免费电影少不了给你来点广告,引用别的网站视频到自己网站是可以,但广告不能少,怎样去广告,向下看吧! 一般获得播放器地址就是通过这样: 也可以点右键看源码,正则找到其地址。 也就是 1:file_get_contents/curl -->页面的html 2:正则分析视频地址 缺...
  • buyingfei888
  • buyingfei888
  • 2014-11-18 12:03
  • 932

Android 获取网页的视频链接

10.16  青岛      阴       近来,想取某网站的视频做数据源,经别人帮忙爬取了视频链接后发现,视频的连接会在1--2小时后就失效了。经研究发现,每次打开包含视频链接的网页,网页内的视频连接地址都是不一样的,想来是加...
  • a1021508536
  • a1021508536
  • 2016-10-16 10:31
  • 2522

一行JavaScript代码获取页面中的所有超链接地址

分析网页内容,然后提取自己需要的信息,这些难道都非得使用服务器端语言来编程实现吗? 不一定吧,对于不是很复杂的需求,其实,使用前端编程就能实现,今天我就使用JavaScript实现 了我提取某个网页中的HTTP形式的网址的功能。
  • kingwolf_JavaScript
  • kingwolf_JavaScript
  • 2013-09-12 23:51
  • 2652
    个人资料
    • 访问:2364555次
    • 积分:22950
    • 等级:
    • 排名:第368名
    • 原创:415篇
    • 转载:130篇
    • 译文:22篇
    • 评论:272条
    最新评论