时间匹配小例子

最新推荐文章于 2022-10-09 21:05:28 发布
最新推荐文章于 2022-10-09 21:05:28 发布
阅读量561 收藏 1
点赞数
分类专栏： █小小代码 抓取 文章标签： regex string class
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ArvinStudy/article/details/7473693
版权 
/// <summary>
        /// 根据网页信息得到文章集合
        /// </summary>
        protected override List<CrawlerResult> GetArticleByHtml(string HTMLContent, int task_ID)
        {
            List<CrawlerResult> arrayList = new List<CrawlerResult>();
            MatchCollection matchList;
            MatchCollection tempMatch;
            //Regex regex = new Regex(@"<p class=\042item\042><a href=[^>]*>[\s\S]+?</p>");
            Regex regex = new Regex(@"<p class=""t4"">[\s\S]+?</p>");
            Regex regexHref = new Regex("<a href=[^>]*>评论[^>]*</a>[^<]*<span");
            Regex regexTime = new Regex(@"[\d]{1,2}月[\d]{1,2}日 [\d]{1,2}:[\d]{1,2}");
            //Regex title = new Regex(@"<p class=\042item\042>[\s\S]+?评论");
            Regex title = new Regex(@"<p class=""t4"">[\s\S]+?评论");
            Regex Author = new Regex(@"<a href=""/t2/othdoc.do[^<]*</a>");//作者

            matchList = regex.Matches(HTMLContent.ToLower());
            for (int i = 0; i < matchList.Count; i++)
            {
                CrawlerResult item = new CrawlerResult();
                item.Task_ID = task_ID;
                if (matchList[i].Value.ToString() != "")
                {
                    //URL
                    tempMatch = regexHref.Matches(matchList[i].Value.ToString());
                    if (tempMatch.Count > 0)
                    {
                        string str = GetURL(tempMatch[0].Value);
                      
                        item.Url = "http://w.sohu.com" + str;
                        if (item.Url.StartsWith("http://", StringComparison.OrdinalIgnoreCase))
                        {
                            //主题 
                            tempMatch = title.Matches(matchList[i].Value);
                            if (tempMatch.Count > 0)
                            {
                                //string tle = 
                                //if (tle.Length > 30)
                                //{
                                //    item.Title = tle.Substring(1,25)+"......";
                                //}
                                //else
                                item.Title = CommonFunction.DeleteHTMLElement(tempMatch[0].Value.ToString());

                            }
                            //作者 
                            tempMatch = Author.Matches(matchList[i].Value);
                            if (tempMatch.Count > 0)
                            {
                                //string tle = 
                                //if (tle.Length > 30)
                                //{
                                //    item.Title = tle.Substring(1,25)+"......";
                                //}
                                //else
                                item.Author = CommonFunction.DeleteHTMLElement(tempMatch[0].Value.ToString());
                            }
                                //媒体
                            item.SiteName = "XXXXXX";

                       
-----------------------------------------------------------------------------------------------------------------------------------------
                          //时间
                            tempMatch = regexTime.Matches(matchList[i].Value.ToString());
                            if (tempMatch.Count > 0)
                            {
                                try
                                {
                                    string Ctime = CommonFunction.DeleteHTMLElement(tempMatch[0].Value.ToString()).Replace("月", "-").Replace("日", "-");
                                    item.CreateTime = DateTime.Parse(tempMatch[0].Value);
                                }
                                catch
                                {

                                    CommonFunction.logWirte(this.SearchName + "抓取匹配时间出错：源是" + matchList[i].Value, IWOMWebCrawlerDbLayer.Common.LogGrade.Warning);
                                }
                            }
                            else
                            {
                                if (tempMatch.Count == 0)
                                {
                                    //Regex Time = new Regex(@"</a> <span class=\042time\042>.*?</span>");
                                    Regex Time = new Regex(@"<span class=""time"">[\d]{1,2}[\s\S]+?</span>");
                                    tempMatch = Time.Matches(matchList[i].Value.ToString());
                                }
                                if (tempMatch.Count > 0)
                                {
                                    string time = CommonFunction.DeleteHTMLElement(tempMatch[0].Value.ToString());
                                    DateTime terstr = DateTime.Now;
                                    Regex ter = new Regex(@"[\d]{1,2}:[\d]{1,2}");
                                    Regex timeReg = new Regex(@"[\d]{4}-[\d]{1,2}-[\d]{1,2}");
                                    tempMatch = timeReg.Matches(time);
                                    if (tempMatch.Count > 0)
                                    {
                                        try
                                        {
                                            item.CreateTime = DateTime.Parse(tempMatch[0].Value);
                                        }
                                        catch
                                        {

                                            CommonFunction.logWirte(this.SearchName + "抓取匹配时间出错：源是" + time, IWOMWebCrawlerDbLayer.Common.LogGrade.Warning);
                                        }
                                    }
                                    if (tempMatch.Count == 0)
                                    {
                                        int TimeNumber = 0;
                                        string Timetype = "";

                                        if (time.IndexOf("分钟前") > 0)
                                        {
                                            timeReg = new Regex(@"([\d]{1,2}) 分钟前");
                                            Timetype = "h";
                                        }
                                        else if (time.IndexOf("小时前") > 0)
                                        {
                                            timeReg = new Regex(@"([\d]{1,2}) 小时前");
                                            Timetype = "k";
                                        }
                                        else if (time.IndexOf("昨天") > -1)
                                        {
                                            timeReg = new Regex(@"昨天");
                                            Timetype = "f";
                                        }
                                        else if (time.IndexOf("前天") > -1)
                                        {
                                            timeReg = new Regex(@"前天");
                                            Timetype = "m";
                                        }
                                        else if (time.IndexOf("天前") > 0)
                                        {
                                            timeReg = new Regex(@"([\d]{1,2}) 天前");
                                            Timetype = "d";
                                        }
                                        tempMatch = timeReg.Matches(time);
                                        if (tempMatch.Count > 0)
                                        {
                                            try
                                            {
                                                TimeNumber = int.Parse(tempMatch[0].Groups[1].Value);
                                            }
                                            catch
                                            {

                                                CommonFunction.logWirte(this.SearchName + "抓取匹配时间2出错：源是" + time, IWOMWebCrawlerDbLayer.Common.LogGrade.Warning);
                                            }
                                        }
                                        switch (Timetype)
                                        {
                                            case "h":
                                                item.CreateTime = DateTime.Now.AddMinutes(-TimeNumber);
                                                break;
                                            case "k":
                                                item.CreateTime = DateTime.Now.AddHours(-TimeNumber);
                                                break;
                                            case "f":
                                                tempMatch = ter.Matches(matchList[i].Value.ToString());
                                                if (tempMatch.Count > 0)
                                                {
                                                    terstr = DateTime.Parse(CommonFunction.DeleteHTMLElement(tempMatch[0].Value.ToString()));
                                                }
                                                item.CreateTime = terstr.AddDays(-1);
                                                break;
                                            case "m":
                                                tempMatch = ter.Matches(matchList[i].Value.ToString());
                                                if (tempMatch.Count > 0)
                                                {
                                                    terstr = DateTime.Parse(CommonFunction.DeleteHTMLElement(tempMatch[0].Value.ToString()));
                                                }
                                                item.CreateTime = terstr.AddDays(-2);
                                                break;
                                            case "d":
                                                tempMatch = ter.Matches(matchList[i].Value.ToString());
                                                if (tempMatch.Count > 0)
                                                {
                                                    terstr = DateTime.Parse(CommonFunction.DeleteHTMLElement(tempMatch[0].Value.ToString()));
                                                }
                                                item.CreateTime = terstr.AddDays(-TimeNumber);
                                                break;
                                        }

                                    }

--------------------------------------------------------------------------------------------------------------------------------------
                                }
                            }
                            arrayList.Add(item);
                        }
                    }
                }
            }
            return arrayList;
        }

ArvinStudy
关注
专栏目录
KMP算法：线性时间O(n)字符串匹配算法
机器学习
12-27 2681
《算法导论》一书中有一句话，我认为说的非常透彻：“这两个程序有很多相似之处，因为它们都是一个字符串对模式P的匹配：KMP-MATCHER是文本T针对模式P的匹配，COMPUTE-PREFIX是模式P针对自己的匹配。”
tail查看日志（匹配时间段、关键字）
柳轻声的博客
10-29 4万+
对于IT人员来说查日志是算是日常工作了，不管是开发还是测试都会涉及到查看日志，定位问题缺陷的所在。所以这里作者收集了一部分查看日志的命令以及解释： 常用命令： tail -f xxx.log ----实时刷新最新日志 tail -100f xxx.log --------实时刷新最新的100行日志 tail -100f xxx.log | grep [关键字] ...
MySQL匹配某个时间段之内的数据
qq_42380097的博客
09-23 1569
MySQL匹配某个时间段之内的数据 SELECT * FROM 表名 WHERE id in( SELECT id FROM 表名 WHERE DATEDIFF( 时间字段 ,NOW()) =0 ) and 时间字段 REGEXP ‘^2020-[0-1][1-9]-[0-9][0-9] 1[5-7]:[0-9][0-9]:[0-9][0-9]$’ ^2016-07-[0-9][0-9] 0[3-5]:[0-9][0-9]:[0-9][0-9]$正则表达式，匹配 开始 2016-07-数字数字 0 3-5之
BM匹配算法
qq_29423387的博客
01-17 1万+
小例子理解BM匹配算法 字符串为 HERE IS A SIMPLE EXAMPLE 搜索词为 EXAMPLE 1 图一 从尾部开始比较，思路的出发点是，只要尾部字符如果不匹配的话，前面比较也就没什么意义。 如图一：S与E不匹配，那么S被称为坏字符，并且EXAMPLE中不包含S，所以把搜索词移到S的后面。 2 图二 ：P和E继续不匹配，继续在搜索词中查找P,搜索词后移两位。 3 图三 ...
Halcon模版匹配
lw8014的博客
11-11 2234
模版匹配类型 执行步骤 应用场合 基于组件匹配 获取组件模型里的初始组件gen_initial_components; 根据图像模型,初始组件,训练图片来训练组件和组件相互关系train_model_components； .........
LabVIEW图像模式匹配（基础篇—11）
不脱发的程序猿
07-26 3万+
图像模式匹配是机器视觉系统最重要的功能之一，基于它可以实现目标对准、测量、检测以及分类等应用。
形状匹配
Z's Palace
03-25 7307
1.       Shape-Based matching的基本流程  HALCON提 供的基于形状匹配的算法主要是针对感兴趣的小区域来建立模板，对整个图像建立模板也可以，但这样除非是对象在整个图像中所占比例很大，比如像视频会议中人 体上半身这样的图像，我在后面的视频对象跟踪实验中就是针对整个图像的，这往往也是要牺牲匹配速度的，这个后面再讲。基本流程是这样的，如下所示：  ⑴ 首先确定出ROI
把KMP匹配算法讲清楚
BoCong-Deng的博客
04-14 2147
KMP算法是真的折磨我够呛的，记不清是大一还是大二的时候就接触了这个算法，当时研究的一知半解，然后就用起来了，顶多只能说是敲多了几遍，大致的结构流程能够写出来，然后就一直用了很久到现在。虽然使用的过程中一直有磕磕碰碰，但是够用所以就没有进行深究，知道前段时间，包括今天，莫名其妙遇到了许多使用KMP思想，并进行变种的算法思路，以及算法题的解法，我才终于下定决定要把KMP算法搞明白，写下这篇博文，尝试吃透讲明白KMP。
Python正则表达式匹配日期与时间的方法
10-16
在例子中，test_date字符串中包含两个日期，search()函数匹配到第一个日期“2016-12-12”，而findall()函数则匹配到两个日期“2016-12-12”和“2016-12-21”。 接下来，文章讲解了如何匹配日期和时间。在日期时间的...
登录小例子
11-28
登录小例子是一个基础的软件开发实践，通常用于教学或演示目的。这个小例子涵盖了四个主要的数据库操作：增（添加用户信息）、删（删除用户信息）、改（修改用户信息）和查（查询用户信息）。在这个场景中，使用的...
具有不匹配时变扰动的非线性系统的连续有限时间输出调节
03-08
这篇文章介绍了一种新的非线性控制器，该控制器设计的目标是确保一类非线性系统在存在不匹配时变扰动的情况下也能实现连续有限时间输出调节。文章中提到的非线性系统受到时变扰动的影响，这些扰动在系统中不是完全...
halcon模板匹配快速入门
weixin_44490080的博客
06-11 1万+
算子： 创建模板：create_aniso_shape_model 匹配模板：find_aniso_shape_model 例子： 测试用的图像： 代码： dev_set_draw ('margin') read_image (Image, 'C:/Users/斌/Desktop/temp.png') rgb1_to_gray (Image, GrayImage) *...
stata 倾向得分匹配操作
热门推荐
哈伦2019的博客
05-06 5万+
ssc install psmatch2,replace *安装倾向得分匹配命令包 cd "C:\Users\Administrator\Desktop\stata work" *设置工作路径 use ldw_exper.dta,clear *读取数据（数据放在工作路径） reg re78 t,r *做一元线性回归作为参照 （re78表示1978年实际收入，t是否参加培训） *...
一个AI小白如何理解近似匹配检索
最新发布
xieyuooo的专栏
10-09 1716
在AI领域的相似度匹配中通常会接触很多新名词：ANN、KNN、HNSW、SQ8、Faiss、L2、L1、inner product...你可能会查了很多官方解释-- 我知道了它是什么，对，没错，我还是不知道它是什么
discuz论坛的抓取
码农
12-11 5183
discuz论坛通用URL地址： URL+?mod=my&q=关键字（关键字的编码gb2312） 例如： 'http://bbs.anzhi.com/search.php?mod=my&q=htc+%CA%D6%BB%FA'; 而真实的sId的值是存储在head里面的location中的。 例如:location=http://search.bbs.hiapk.com/f/search?q
模拟登录--OPPO官网
码农
03-28 4687
using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Net; using System.IO; using System.Text.RegularExpressions; namespace renrenApp { class Program
GET方法获得html页面内容
码农
08-23 4011
using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Net; using System.IO;namespace ConsoleApplication1 {     class Program     {         static
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值