在Delphi中实现StringTokenizer功能模块

原创 2004年01月26日 01:35:00

我们知道Java中有StringTokenizer,对于字符串处理都非常的方便,但是Delphi中没有提供该功能,我参考Java语言实现此功能的Delphi版本和C#版本。希望给大家提供一个方便。希望多多指教。zengqingsong@sohu.com

unit SkyStringTokenizer;
{字符串分析处理类
作者:曾青松
时间:2004/2/21(2003年除夕)
}

interface

uses
  SysUtils, Classes;
type
  IIterator = interface
    function hasNext(): boolean;
    function next(): string;
  end;
type
  TSkyStringTokenizer = class(TComponent, IIterator)
  private
    tokens: TStringList;
      index: integer;
    data: string;
    delimiter: string;
    procedure init(dataLine: string; delim: string);
    function CharacterInTokens(ch: string; const sl: TStringList): boolean;
    function StringToCharArray(delim: string): TStringList;
    function SplitString(source, ch: string): Tstringlist;

  protected
    { Protected declarations }
  public
    { Public declarations }
    constructor create(dataLine: string); overload;
    constructor Create(dataLine: string; delim: string); overload;
    destructor destroy();override;
    function hasNext(): boolean;
    function next(): string;

  published
    { Published declarations }
  end;

procedure Register;

implementation

procedure Register;
begin
  RegisterComponents('SkyDevKit', [TSkyStringTokenizer]);
end;

{ TStringTokenizer }

function TSkyStringTokenizer.hasNext: boolean;
begin
  result := (index < tokens.Count - 1);
end;

procedure TSkyStringTokenizer.init(dataLine, delim: string);
begin
  tokens := TStringList.Create();
  delimiter := delim;
  data := dataLine;
  tokens := SplitString(data, delimiter);
  //tokens := data.Split(delimiter.ToCharArray());
  index := -1;
end;

function TSkyStringTokenizer.next: string;
var
  s: string;
begin
  inc(index);
  s := tokens[index];
  while ((length(s) <= 0) and (index < tokens.Count)) do
  begin
    inc(index);
    s := tokens[index];
  end;
  result := s;

end;

function TSkyStringTokenizer.StringToCharArray(delim: string): TStringList;
var
  sl: TStringList;
  I: Integer;
begin
  sl := TStringList.Create();
  for I := 1 to length(delim) do // Iterate
  begin
    sl.Append(copy(delim, i, 1));
  end; // for
  result := sl;
end;

constructor TSkyStringTokenizer.Create(dataLine, delim: string);
begin
inherited Create(nil);
  self.init(dataLine, delim);
end;

constructor TSkyStringTokenizer.Create(dataLine: string);
begin
  inherited Create(nil);
  self.init(dataLine, ' ');
end;

function TSkyStringTokenizer.SplitString(source, ch: string): tstringlist;
var
  temp: string;
  //i: integer;
  sl: TStringList;
  index: integer;
begin
  if ch = '' then
    ch := ' ';

  sl := TStringList.Create();
  result := tstringlist.Create();
  sl := self.StringToCharArray(ch);

  temp := '';
  for Index := 1 to length(source) do // Iterate
  begin
    if not CharacterInTokens(source[index], sl) then
    begin
      temp := temp + source[Index];
    end
    else
    begin
      result.Add(temp);
      temp := '';
    end; //if
  end; // for
  if (temp <> '') then
    result.Add(temp);
  sl.Free;
end;

function TSkyStringTokenizer.CharacterInTokens(ch: string;
  const sl: TStringList): boolean;
var
  index: integer;
//  I: Integer;
begin
  result := false;
  for Index := 0 to sl.Count - 1 do // Iterate
  begin
    result := result or (ch = sl[Index]);
    {if ch = sl[index] then
    begin
      result := true;
      break;
    end;
    }
  end; // for
end;

destructor TSkyStringTokenizer.destroy;
begin
  tokens.Free ;
  inherited;
end;

end.

 

//下面是C#版本,最初版本不是我写的

using System;

namespace CsharpPats
{
 //String Tokenizer class
 public class StringTokenizer  {
  private string data, delimiter;
  private string[] tokens;
  private int index;
  public StringTokenizer(string dataLine)   {
   init(dataLine, " ");
    }
  private void init(String dataLine, string delim) {
   delimiter = delim;
   data = dataLine;
   tokens = data.Split (delimiter.ToCharArray() );
   index = 0;
  }
  public StringTokenizer(string dataLine, string delim) {
     init(dataLine, delim); 
  }
  public bool hasMoreElements() {
   return (index < (tokens.Length));
  }
  public string nextElement() {
   string s = tokens[index++];
   while((s.Length <=0) && (index<tokens.Length ))
    s = tokens[index++];
  return s;
  }
 }
}

StringTokenizer和split分隔字符串效率比较

实验1: public class TestCharacter { private static String buildString(int length) {         StringB...
  • huangzheng122
  • huangzheng122
  • 2015年08月12日 11:50
  • 472

Split()拆分字符串与StringTokenizer拆分字符串

前言不管用何种编程语言写代码,对字符串的处理都是必不可少的,其中对字符串的拆分在许多场合都频繁用到。 今天介绍Java中两种主流的拆分方法,一是lang包String类的split()方法,另一种则...
  • pigdreams
  • pigdreams
  • 2017年04月22日 16:03
  • 664

使用StringTokenizer分割并统计单词个数

在某些时候,可能会需要统计一大串文本中出现的单词个数。一般情况下,直接想到的是用正则表达式,但是我偶然发现了一个比用正则表达式更好的方法。 也就是使用StringTokenizer这个类,参考文档: ...
  • peceoqicka
  • peceoqicka
  • 2014年03月16日 21:28
  • 1514

(4)StringTokenizer分隔字符串之处理连续的分隔符

import java.util.StringTokenizer; //使用StringTokenizer类,包括返回分隔符 public class StrTokDemo002 { public...
  • Xuan6251237011
  • Xuan6251237011
  • 2014年03月05日 14:41
  • 1262

java字符串分割解析类StringTokenizer的使用

StringTokenizer是字符串分隔解析类型,属于:java.util包。 1.StringTokenizer的构造函数 StringTokenizer(String str):构造一个...
  • sunflower_cao
  • sunflower_cao
  • 2014年08月20日 09:08
  • 1786

图书管理系统之项目提出与需求分析

1 项目提出: 随着计算机的普及和信息技术的发展,人们的生活发生了日新月异的变化,各类计算机软件逐渐渗透到了社会的每个角落,大大地改善了人们的生活质量,提高了人们的工作效率。在高校中,图书借阅是学生...
  • MyLove621
  • MyLove621
  • 2017年01月31日 15:55
  • 429

如何用流程的功能模块来展现业务流程

还记得多年前在做工作流管理中心的流程演示时,很迷茫如何用流程的功能模块来展现业务流程。 业务流程的展现,传统的做法是按业务单据建立好业务表,再增加一些状态字段来控制单据的流转,达到完成业务流程。 例...
  • LikeLaura
  • LikeLaura
  • 2016年10月14日 19:50
  • 728

模块设计与实现经验总结(三)

3  模块详细设计指南与规范 模块详细设计要完成两个方面工作:一是明确模块的功能需求和非功能需求、二是设计如何完成和实现模块的功能需求,包括类结构、线程结构设计等。本节根据后台模块特点,描述了两部分...
  • njpjsoftdev
  • njpjsoftdev
  • 2016年07月22日 13:55
  • 1132

java java中subString、split、stringTokenizer三种截取字符串方法的性能比较

最近在阅读java.lang下的源码,读到String时,突然想起面试的时候曾经被人问过:都知道在大数据量情况下,使用String的split截取字符串效率很低,有想过用其他的方法替代吗?用什么替代?...
  • sdauzyh
  • sdauzyh
  • 2015年08月31日 17:51
  • 2264

android功能模块之通讯功能模块一

 2014年1月15日 无论是Android开发或者是其他移动平台的开发,ListView肯定是一个大咖,那么对ListView的操作肯定是不会少的,上一篇博客介绍了如何实现全选和反选...
  • zhouzhiwengang
  • zhouzhiwengang
  • 2014年01月24日 23:15
  • 471
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:在Delphi中实现StringTokenizer功能模块
举报原因:
原因补充:

(最多只允许输入30个字)