字符串的耗时操作

最新推荐文章于 2021-08-22 17:43:10 发布
最新推荐文章于 2021-08-22 17:43:10 发布
阅读量136 收藏
点赞数
原文链接：http://www.cnblogs.com/chensuqian/p/9644813.html
版权

在一个新闻采集的项目中，处理一条信息时CPU竟然耗尽，后查找原因发现在一个do...while循环里耗时竟超过20分钟。一般而言，一百万的循环耗时一般为一秒。因此如果一个循环就能将CPU耗尽长达20多分钟，那么循环里一定会有其它非循环操作在作怪。原处理方法如下：

/// <summary>
        /// 格式化Html正文.
        /// </summary>
        /// <param name="Content">Html文档内容。</param>
        /// <param name="Buf">结果缓冲区。</param>
        public static void FormatHtml(string Content, HtmlBufBase Buf)
        {
            if (string.IsNullOrEmpty(Content))
                return;
            // 过滤前面未处理的标记
            int TagEnd = Content.IndexOf('>', 0);
            if (TagEnd == -1)
                TagEnd = 0;
            else
            {
                //处理Title中的HTML标签
                int pos = GetNextTagStartPosition(Content, 0);
                if (pos > -1 && TagEnd > pos)
                    TagEnd = 0;
                else
                    TagEnd++;
            }
            bool bIsNotInHideTag = true;  // 是否不在隐藏的标记内容中
            bool bIsNotInStyle = true;
            string HideTag = null;
            string LastTag = null;
            do
            {
                if (Content.Contains("国家统计局服务业调查中心"))
                {
                }
                // 找标记开始
                int TagStart = GetNextTagStartPosition(Content, TagEnd);
                if (TagStart == -1)
                    TagStart = Content.Length;// 达到结尾
                else if (Content.IndexOf("!--", TagStart) == TagStart+1)   // 判断是否是注释
                {
                    TagEnd = Content.IndexOf("-->", TagStart)+3;
                    if (TagStart == -1)
                        TagStart = Content.Length;
                    continue;
                }
                // 转换内容
                if (bIsNotInHideTag && bIsNotInStyle)
                    Buf.AppendText(Content.Substring(TagEnd, TagStart - TagEnd));
                // 找标记结束
                TagEnd = GetNextTagEndPosition(Content, TagStart);
                if (TagEnd > -1)
                {
                    TagEnd++;
                    TagStart++;
                    string TagInfo;
                    string Tag = GetTagAndTagInfo(Content, TagEnd, TagStart, out TagInfo);
 
                    if (Tag == "script")  // 脚本开始
                    {
                        int scriptEndPos = Content.IndexOf("</script>", TagStart, StringComparison.OrdinalIgnoreCase);
                        if (scriptEndPos > 0)
                        {
                            TagEnd = scriptEndPos + 9;
                        }
                        else
                        {
                            TagEnd = Content.Length;
                        }
                    }
                    else if (Tag == "style")
                    {
                        bIsNotInStyle = false;
                    }
                    else if (Tag == "/style")
                    {
                        bIsNotInStyle = true;
                    }
                    else if (TagInfo.ToLower().IndexOf("display:none") > 0)
                    {
                        bIsNotInHideTag = false;
                        HideTag = Tag;
                    }
                    else if (Tag == "/" + HideTag)
                    {
                        bIsNotInHideTag = true;
                        HideTag = null;
                    }
                    else
                        Buf.AppendTag(Tag, TagInfo);
 
                    //else if (Tag == "base")
                    //    BaseUrl = GetBaseUrl(TagInfo);
                    LastTag = Tag;
                }
                else
                    break;
            } while (true);
            Buf.ReFormatText();
        }
 
最近查找到有一条语句特别耗时即
 else if (Content.IndexOf("!--", TagStart) == TagStart+1)   // 判断是否是注释，这个字符串的查找都是全文查找，肯定特别耗时，这条语句的功能是判断标签是否是注释，因此没必要去判断”!--“只需要判断!即可。因此使用字符查找即可，改动如下：
 else if (Content[TagStart+1] == '!')   // 判断是否是注释
改成上面语句后CPU尽管会耗尽，但耗时只需30秒。
深入追究一下，可知字符的查找应该是数组的查找，为什么不直接使用数组下标呢？改动如下：
Content[TagStart + 1] == '!'
改后测试一下，在本方法中的两万多次循环中只需要60毫秒。
最后程序改动如下：
 /// <summary>
        /// 格式化Html正文.
        /// </summary>
        /// <param name="Content">Html文档内容。</param>
        /// <param name="Buf">结果缓冲区。</param>
        public static void FormatHtml(string Content, HtmlBufBase Buf)
        {
            if (string.IsNullOrEmpty(Content))
                return;
 
            // 过滤前面未处理的标记
            int TagEnd = Content.IndexOf('>', 0);
            if (TagEnd == -1)
                TagEnd = 0;
            else
            {
                //处理Title中的HTML标签
                int pos = GetNextTagStartPosition(Content, 0);
                if (pos > -1 && TagEnd > pos)
                    TagEnd = 0;
                else
                    TagEnd++;
            }
            bool bIsNotInHideTag = true;  // 是否不在隐藏的标记内容中
            bool bIsNotInStyle = true;
 
            string HideTag = null;
            string LastTag = null;
            do
            {
                // 找标记开始
                int TagStart = GetNextTagStartPosition(Content, TagEnd);
                if (TagStart == -1)
                    TagStart = Content.Length;// 达到结尾
              
                // 转换内容
                if (bIsNotInHideTag && bIsNotInStyle)
                    Buf.AppendText(Content.Substring(TagEnd, TagStart - TagEnd));
                // 判断是否是注释
                if (TagStart != -1 && TagStart < Content.Length && Content[TagStart + 1] == '!')   
                {
                    TagEnd = Content.IndexOf("-->", TagStart);
                    if (TagEnd == -1)//没有找到注释的结束标记
                    {
                        TagEnd = Content.Length;
                    }
                    else//有注释的结束标记，跳过本标记
                    {
                        TagEnd = TagEnd + 3;
                        continue;
                    }
                }
                // 找标记结束
                TagEnd = GetNextTagEndPosition(Content, TagStart);
                if (TagEnd > -1)
                {
                    TagEnd++;
                    TagStart++;
                    string TagInfo;
                    string Tag = GetTagAndTagInfo(Content, TagEnd, TagStart, out TagInfo);
 
                    if (Tag == "script")  // 脚本开始
                    {
                        int scriptEndPos = Content.IndexOf("</script>", TagStart, StringComparison.OrdinalIgnoreCase);
                        if (scriptEndPos > 0)
                        {
                            TagEnd = scriptEndPos + 9;
                        }
                        else
                        {
                            TagEnd = Content.Length;
                        }
                    }
                    else if (Tag == "style")
                    {
                        bIsNotInStyle = false;
                    }
                    else if (Tag == "/style")
                    {
                        bIsNotInStyle = true;
                    }
                    else if (TagInfo.ToLower().IndexOf("display:none") > 0)
                    {
                        bIsNotInHideTag = false;
                        HideTag = Tag;
                    }
                    else if (Tag == "/" + HideTag)
                    {
                        bIsNotInHideTag = true;
                        HideTag = null;
                    }
                    else
                        Buf.AppendTag(Tag, TagInfo);
 
                    //else if (Tag == "base")
                    //    BaseUrl = GetBaseUrl(TagInfo);
                    LastTag = Tag;
                }
                else
                    break;
            } while (true);
            Buf.ReFormatText();
        }

转载于:https://www.cnblogs.com/chensuqian/p/9644813.html

weixin_33978044
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
vbs的字符串操作效率分析总结
09-05
这样做减少了直接操作主字符串的次数，从而显著提高了效率，耗时降低到约0.2秒，性能提升了近100倍。 然而，更优的解决方案是使用`StringArrayTest()`。在该方法中，字符串不是直接连接，而是存储在一个数组中。在...
C++字符串高效查找替换
12-22
原始的C风格字符串和`memcpy`函数提供了较低级别的内存操作，可以直接在内存块之间移动数据，从而减少了性能开销。 然而，这种方法也有其局限性。它不适用于需要考虑Unicode或宽字符的情况，也不提供错误检查和异常...
Java 程序优化：字符串操作、基本运算方法等优化策略
可口可乐的博客
07-08 550
针对 Java 程序编写过程中的实际问题，本文分为两部分，首先对字符串相关操作、数据切分、处理超大 String 对象等提出解决方案及优化建议，并给出具体代码示例；然后对数据定义、运算逻辑优化等方面提出解决方案及优化建议，并给出具体代码示例。 由于本文所尝试的实验都是基于联想 L430 笔记本，i5-3320CPU，4GB 内存基础上的，其他机器上运行代码可能结果有所不同，请以自己的实验环境为
关于c++中的字符串的操作和转化
时间，要珍惜，更重要的是规划！
09-30 261
1、我们都知道，c++问字符的类型定义的是十分严格的，这就导致了我们在对很多的字符进行操作的时候造成了很多的不便。下面给出了一个官方的字符串操作的网址。比如比较字符串，字符串转化，截取字符串等等都可以从这里找到对应的函数去做处理。 https://msdn.microsoft.com/zh-cn/library/wyzd2bce.aspx 2、c++中的字符串转化一直很头疼，这涉及到很多参
字符串操作性能优化
weixin_30279751的博客
02-24 129
　　昨天看到关于字符串操作性能优化的帖子。 　　1.使用值类型的ToString方法 　　首先理解装箱和拆箱：1.装箱在值类型向引用类型转换时发生。2.拆箱在引用类型向值类型转换时发生。装箱操作和拆箱操作是要额外耗费cpu和内存资源的，所以在c# 2.0之后引入了泛型来减少装箱操作和拆箱操作消耗。 　　值类型ToString是不会装箱。例如：string a = a + 1;和string...
如何解决大量字符串的拼接操作的耗时问题
Lahti的专栏
03-23 882
【C/C++】strncpy 拷贝短字符串到大内存的性能损耗分析
_山月
08-14 656
如果传给 strncpy 函数的拷贝长度限制 lenLimit（第三个参数）大于源字符串（第二个参数）的长度 lenSrc，则在将源字符串拷贝到目标地址空间之后，还会将目标地址空间中紧接着拷贝过去的源字符串的 lenLimit - lenSrc 长度的空间清零。可能造成越界（如果超过目标地址空间的大小）和无意义的性能损耗。
多行字符串替换工具.rar
07-25
在编程和文本处理中，有时我们需要在大量文本数据中批量替换特定的字符串，尤其当这些字符串分布在多行时，手动操作将极其耗时。这款工具就是为了简化这一过程而开发的。 描述中的“多行字符串替换工具”简洁地概括...
java字符串拼接与性能分析详解
09-04
Java字符串拼接是编程中常见的操作，特别是在处理大量数据或者构建复杂的输出时。然而，不同的字符串拼接方式在性能上存在显著差异。本篇文章将深入探讨Java中的字符串拼接技术，以及它们对程序效率的影响。 首先，...
C/C++实现字符串模糊匹配
09-02
示例代码展示了对100万个模式进行匹配的情况，耗时约2.1秒，意味着平均每个匹配操作大约耗时2微秒。对于大多数应用来说，这样的性能是可以接受的。然而，如果需要更高的性能，可以考虑优化算法，比如使用预编译的...
算法|使用特殊打字机键入单词的最少时间
flystar27的博客
08-22 231
力扣第59场双周赛题目 刷题链接：https://leetcode-cn.com/problems/minimum-time-to-type-word-using-special-typewriter/ 题目描述： 有一个特殊打字机，它由一个 圆盘 和一个 指针 组成， 圆盘上标有小写英文字母 ‘a’ 到 ‘z’。只有 当指针指向某个字母时，它才能被键入。指针 初始时 指向字符 ‘a’ 。 每一秒钟，你可以执行以下操作之一： 将指针 顺时针 或者 逆时针 移动一个字符。 键入指针 当前 指向的字符。 给你
flutter 截取字符串
最新发布
09-02
在Flutter中，可以使用Dart语言提供的字符串截取方法来截取字符串。有几种常用的方法可以实现字符串截取操作。 一种方法是使用Dart的substring()方法。这个方法可以通过指定起始位置和结束位置来截取字符串的一部分。例如，使用str.substring(startIndex, endIndex)可以截取字符串str从startIndex位置到endIndex位置的子字符串。 另一种方法是使用split()方法。通过传入一个分隔符作为参数，split()方法可以将字符串拆分成一个字符串数组。例如，可以使用str.split(",")来以逗号作为分隔符来拆分字符串str，并返回一个包含拆分后子字符串的数组。 还可以使用正则表达式来进行字符串截取。可以使用split()方法，其中传入的参数是一个正则表达式，这样可以根据正则表达式来拆分字符串。不过需要注意，使用这种方式截取字符串会有一定的性能损耗，因为分析正则表达式非常耗时。 综上所述，在Flutter中可以通过substring()方法、split()方法和正则表达式来实现字符串截取操作。具体使用哪种方法取决于你的具体需求和性能要求。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [字符串截取的常用方法](https://blog.csdn.net/weixin_31319319/article/details/112044745)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值