抓取正则DEMO

private void GetItemList(int task_ID, List<CrawlerResult> arrayList, string group_url)
        {
            MatchCollection matchList;
            MatchCollection tempMatch;
            DownWebFile df = new DownWebFile();
            var _html = df.GetPageData(group_url, "utf-8");
            Regex regExtractHtml = new Regex(@"<table class=""olt"">[\s\S]+?</table>", RegexOptions.None);
            Regex regLi = new Regex(@"<tr class="""">[\s\S]+?</tr>", RegexOptions.None);
            Regex regexTitle = new Regex(@"<td class=""title"">[\s\S]+?</td>", RegexOptions.None);
            Regex regexHref = new Regex(@"<a [^>]+?>[\s\S]+?</a>", RegexOptions.None);
            Regex regexAuthor = new Regex(@"<td nowrap=""nowrap"">[\s\S]+?</td>", RegexOptions.None);
            matchList = regExtractHtml.Matches(_html);
            if (matchList.Count < 1) return;
            var _contentHtml = matchList[0].Value;
            matchList = regLi.Matches(_contentHtml);
            for (int i = 0; i < matchList.Count; i++)
            {
                var _text = matchList[i].Value;
                CrawlerResult item = new CrawlerResult();
                item.Task_ID = task_ID;
                tempMatch = regexTitle.Matches(_text);
                if (tempMatch.Count < 0) continue;
                item.Title = CommonFunction.DeleteHTMLElement(tempMatch[0].Value);
                tempMatch = regexHref.Matches(tempMatch[0].Value);
                if (tempMatch.Count < 0) continue;
                item.Url = GetURL(tempMatch[0].Value);
                if (item.Url.IndexOf("http://") < 0) continue;
                tempMatch = regexAuthor.Matches(_text);
                if (tempMatch.Count > 0)
                {
                    item.Author = CommonFunction.DeleteHTMLElement(tempMatch[0].Value);
                }
                item.SiteName = "XX";
                item.FilterType = IWOMWebCrawlerDbLayer.Common.FilterType.FilterNo;
                arrayList.Add(item);
            }
        }

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值