CSV文件解析（转）

最新推荐文章于 2024-08-07 16:13:21 发布

rickjelly2004

最新推荐文章于 2024-08-07 16:13:21 发布

阅读量3.3k

点赞数

文章标签： csv string vb.net integer microsoft function

本文链接：https://blog.csdn.net/rickjelly2004/article/details/2655878

版权

http://dobon.net/vb/dotnet/file/readcsvfile.html

Jet ProviderやODBC Providerを使う方法

さて、ここから本題に入ります。まずは、Jet ProviderやODBC Providerを使う方法を紹介します。これらを使って、CSVファイルを解析することができます。

以下にJet Providerを使った例を紹介します。ここでは解析されたCSVファイルの内容をDataTableに格納しています。CSVファイルの文字コードは、Shift JISである必要があります。なお、接続文字列の「HDR=No」を「HDR=Yes」とすることにより、一行目をヘッダとすることができます。

[VB.NET]
'CSVファイルのあるフォルダ
Dim csvDir As String = "C:/"
'CSVファイルの名前
Dim csvFileName As String = "test.csv"

'接続文字列
Dim conString As String = _
    "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" _
    + csvDir + ";Extended Properties=""text;HDR=No;FMT=Delimited"""
Dim con As New System.Data.OleDb.OleDbConnection(conString)

Dim commText As String = "SELECT * FROM [" + csvFileName + "]"
Dim da As New System.Data.OleDb.OleDbDataAdapter(commText, con)

'DataTableに格納する
Dim dt As New DataTable
da.Fill(dt)

[C#]
//CSVファイルのあるフォルダ
string csvDir = @"C:/";
//CSVファイルの名前
string csvFileName = "test.csv";

//接続文字列
string conString = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source="
    + csvDir + ";Extended Properties=/"text;HDR=No;FMT=Delimited/"";
System.Data.OleDb.OleDbConnection con =
    new System.Data.OleDb.OleDbConnection(conString);

string commText = "SELECT * FROM [" + csvFileName + "]";
System.Data.OleDb.OleDbDataAdapter da =
    new System.Data.OleDb.OleDbDataAdapter(commText, con);

//DataTableに格納する
DataTable dt = new DataTable();
da.Fill(dt);

次はODBC Provider（Microsoft Text Driver）を使った例です。.NET Framework 1.1以降で使用できます。なおこの場合は、一行目がヘッダとして処理されます。

[VB.NET]
'CSVファイルのあるフォルダ
Dim csvDir As String = "C:/"
'CSVファイルの名前
Dim csvFileName As String = "test.csv"

'接続文字列
Dim conString As String = _
    "Driver={Microsoft Text Driver (*.txt; *.csv)};Dbq=" _
    + csvDir + ";Extensions=asc,csv,tab,txt;"
Dim con As New System.Data.Odbc.OdbcConnection(conString)

Dim commText As String = "SELECT * FROM [" + csvFileName + "]"
Dim da As New System.Data.Odbc.OdbcDataAdapter(commText, con)

'DataTableに格納する
Dim dt As New DataTable
da.Fill(dt)

[C#]
//CSVファイルのあるフォルダ
string csvDir = @"C:/";
//CSVファイルの名前
string csvFileName = "test.csv";

//接続文字列
string conString = "Driver={Microsoft Text Driver (*.txt; *.csv)};Dbq="
    + csvDir + ";Extensions=asc,csv,tab,txt;";
System.Data.Odbc.OdbcConnection con =
    new System.Data.Odbc.OdbcConnection(conString);

string commText = "SELECT * FROM [" + csvFileName + "]";
System.Data.Odbc.OdbcDataAdapter da =
    new System.Data.Odbc.OdbcDataAdapter(commText, con);

//DataTableに格納する
DataTable dt = new DataTable();
da.Fill(dt);

このような方法では、正しくCSVファイルが解析されるようにするには、Schema.iniを用意しておく必要があります。そうしないと、正しく解釈されない可能性が十分にあります。

Schema.iniファイルの作成法については、「Importing CSV Data and saving it in database」や「[AC97]VBAから Schema.ini ファイルを作成する方法」が参考になります。

参考：
ConnectionStrings.com

正規表現を使った方法

次に正規表現を使った方法を紹介します。「Perlメモ」の「CSV形式の行から値のリストを取り出す」や「値に改行コードを含むCSV形式を扱う」が参考になります。これによると、CSVの一つの行（一つのレコード）からフィールドを取り出すには、レコードの最後にカンマをつけてから、

("(?:[^"]|"")*"|[^,]*),

というパターンを使用します。

また、フィールドに改行コードを含む場合にCSV形式の文字列から一つのレコードを取り出すには、まず一行を取り出してから、その文字列内の「"」の数を数え、奇数であれば次の一行を追加します。これを「"」の数が偶数になるまで繰り返し、偶数になったところで、一つのレコードが取り出せたものとします。

フィールドを取り出すためのパターンは、他にもいろいろ考えられます。例えば、一つのレコードからフィールドを取り出すためのパターンとしては、

,(?=([^/"]*"[^"]*")*(?![^"]*"))

や

(?:^|,)(/"(?:[^/"]+|/"/")*/"|[^,]*)

などが「CSV Regex Pattern」や「RegEx for CSV」で紹介されています。

「Perlメモ」による方法を参考にしたサンプルを以下に紹介します。ここでは、先のCSV規則の3が適切に処理されるように、「Perlメモ」のパターンに手を加えています。また、一行取り出すためにも、正規表現を使っています。取り出したフィールドは、レコードごとにArrayListに格納し、これらをさらにArrayListに格納しています（実用的ではありませんが、あくまでCSVの解析のサンプルということで、ご理解ください）。CSVにはヘッダが無く、すべてのフィールドを文字列として取得します。CSV形式のファイルを解析する場合は、その内容をString型に読み込んでからメソッドを呼び出してください。

[VB.NET]
''' <summary>
''' CSVをArrayListに変換
''' </summary>
''' <param name="csvText">CSVの内容が入ったString</param>
''' <returns>変換結果のArrayList</returns>
Public Shared Function CsvToArrayList1(ByVal csvText As String) _
    As System.Collections.ArrayList
    Dim csvRecords As New System.Collections.ArrayList

    '前後の改行を削除しておく
    csvText = csvText.Trim( _
        New Char() {ControlChars.Cr, ControlChars.Lf})

    '一行取り出すための正規表現
    Dim regLine As New System.Text.RegularExpressions.Regex( _
        "^.*(?:/n|$)", _
        System.Text.RegularExpressions.RegexOptions.Multiline)

    '1行のCSVから各フィールドを取得するための正規表現
    Dim regCsv As New System.Text.RegularExpressions.Regex( _
        "/s*(""(?:[^""]|"""")*""|[^,]*)/s*,", _
        System.Text.RegularExpressions.RegexOptions.None)

    Dim mLine As System.Text.RegularExpressions.Match = _
        regLine.Match(csvText)
    While mLine.Success
        '一行取り出す
        Dim line As String = mLine.Value
        '改行記号が"で囲まれているか調べる
        While CountString(line, """") Mod 2 = 1
            mLine = mLine.NextMatch()
            If Not mLine.Success Then
                Throw New ApplicationException("不正なCSV")
            End If
            line += mLine.Value
        End While
        '行の最後の改行記号を削除
        line = line.TrimEnd( _
            New Char() {ControlChars.Cr, ControlChars.Lf})
        '最後に「,」をつける
        line += ","

        '1つの行からフィールドを取り出す
        Dim csvFields As New System.Collections.ArrayList
        Dim m As System.Text.RegularExpressions.Match = _
            regCsv.Match(line)
        While m.Success
            Dim field As String = m.Groups(1).Value
            '前後の空白を削除
            field = field.Trim()
            '"で囲まれている時
            If field.StartsWith("""") And field.EndsWith("""") Then
                '前後の"を取る
                field = field.Substring(1, field.Length - 2)
                '「""」を「"」にする
                field = field.Replace("""""", """")
            End If
            csvFields.Add(field)
            m = m.NextMatch()
        End While

        csvFields.TrimToSize()
        csvRecords.Add(csvFields)

        mLine = mLine.NextMatch()
    End While

    csvRecords.TrimToSize()
    Return csvRecords
End Function

''' <summary>
''' 指定された文字列内にある文字列が幾つあるか数える
''' </summary>
''' <param name="strInput">strFindが幾つあるか数える文字列</param>
''' <param name="strFind">数える文字列</param>
''' <returns>strInput内にstrFindが幾つあったか</returns>
Public Shared Function CountString( _
    ByVal strInput As String, _
    ByVal strFind As String) As Integer
    Dim foundCount As Integer = 0
    Dim sPos As Integer = strInput.IndexOf(strFind)
    While sPos > -1
        foundCount += 1
        sPos = strInput.IndexOf(strFind, sPos + 1)
    End While

    Return foundCount
End Function

[C#]
/// <summary>
/// CSVをArrayListに変換
/// </summary>
/// <param name="csvText">CSVの内容が入ったString</param>
/// <returns>変換結果のArrayList</returns>
public static System.Collections.ArrayList CsvToArrayList1(string csvText)
{
    System.Collections.ArrayList csvRecords =
        new System.Collections.ArrayList();

    //前後の改行を削除しておく
    csvText = csvText.Trim(new char[] {'/r', '/n'});

    //一行取り出すための正規表現
    System.Text.RegularExpressions.Regex regLine =
        new System.Text.RegularExpressions.Regex(
        "^.*(?://n|$)",
        System.Text.RegularExpressions.RegexOptions.Multiline);

    //1行のCSVから各フィールドを取得するための正規表現
    System.Text.RegularExpressions.Regex regCsv =
        new System.Text.RegularExpressions.Regex(
        "//s*(/"(?:[^/"]|/"/")*/"|[^,]*)//s*,",
        System.Text.RegularExpressions.RegexOptions.None);

    System.Text.RegularExpressions.Match mLine = regLine.Match(csvText);
    while (mLine.Success)
    {
        //一行取り出す
        string line = mLine.Value;
        //改行記号が"で囲まれているか調べる
        while ((CountString(line, "/"") % 2) == 1)
        {
            mLine = mLine.NextMatch();
            if (!mLine.Success)
            {
                throw new ApplicationException("不正なCSV");
            }
            line += mLine.Value;
        }
        //行の最後の改行記号を削除
        line = line.TrimEnd(new char[] {'/r', '/n'});
        //最後に「,」をつける
        line += ",";

        //1つの行からフィールドを取り出す
        System.Collections.ArrayList csvFields =
            new System.Collections.ArrayList();
        System.Text.RegularExpressions.Match m = regCsv.Match(line);
        while (m.Success)
        {
            string field = m.Groups[1].Value;
            //前後の空白を削除
            field = field.Trim();
            //"で囲まれている時
            if (field.StartsWith("/"") && field.EndsWith("/""))
            {
                //前後の"を取る
                field = field.Substring(1, field.Length - 2);
                //「""」を「"」にする
                field = field.Replace("/"/"", "/"");
            }
            csvFields.Add(field);
            m = m.NextMatch();
        }

        csvFields.TrimToSize();
        csvRecords.Add(csvFields);

        mLine = mLine.NextMatch();
    }

    csvRecords.TrimToSize();
    return csvRecords;
}

/// <summary>
/// 指定された文字列内にある文字列が幾つあるか数える
/// </summary>
/// <param name="strInput">strFindが幾つあるか数える文字列</param>
/// <param name="strFind">数える文字列</param>
/// <returns>strInput内にstrFindが幾つあったか</returns>
public static int CountString(string strInput, string strFind)
{
    int foundCount = 0;
    int sPos = strInput.IndexOf(strFind);
    while (sPos > -1)
    {
        foundCount++;
        sPos = strInput.IndexOf(strFind, sPos + 1);
    }

    return foundCount;
}

文字列を独自に解析する方法

最後に紹介するのは、文字列を独自に解析する方法です。面倒ですが、これが一番速いかもしれません。

以下にその例を示します。使い方は先のCsvToArrayList1メソッドと同じです。

補足：テストが十分でないため、間違いがあるかもしれません。不具合を発見された方は、ぜひご報告ください。

[VB.NET]
''' <summary>
''' CSVをArrayListに変換
''' </summary>
''' <param name="csvText">CSVの内容が入ったString</param>
''' <returns>変換結果のArrayList</returns>
Public Shared Function CsvToArrayList2(ByVal csvText As String) _
    As System.Collections.ArrayList
    '前後の改行を削除しておく
    csvText = csvText.Trim( _
        New Char() {ControlChars.Cr, ControlChars.Lf})

    Dim csvRecords As New System.Collections.ArrayList
    Dim csvFields As New System.Collections.ArrayList

    Dim csvTextLength As Integer = csvText.Length
    Dim startPos As Integer = 0
    Dim endPos As Integer = 0
    Dim field As String = ""

    While True
        '空白を飛ばす
        While startPos < csvTextLength _
            AndAlso (csvText.Chars(startPos) = " "c _
            OrElse csvText.Chars(startPos) = ControlChars.Tab)
            startPos += 1
        End While

        'データの最後の位置を取得
        If startPos < csvTextLength _
            AndAlso csvText.Chars(startPos) = ControlChars.Quote Then
            '"で囲まれているとき
            '最後の"を探す
            endPos = startPos
            While True
                endPos = csvText.IndexOf(ControlChars.Quote, endPos + 1)
                If endPos < 0 Then
                    Throw New ApplicationException("""が不正")
                End If
                '"が2つ続かない時は終了
                If endPos + 1 = csvTextLength OrElse _
                    csvText.Chars((endPos + 1)) <> ControlChars.Quote Then
                    Exit While
                End If
                '"が2つ続く
                endPos += 1
            End While

            '一つのフィールドを取り出す
            field = csvText.Substring(startPos, endPos - startPos + 1)
            '""を"にする
            field = field.Substring(1, field.Length - 2). _
                Replace("""""", """")

            endPos += 1
            '空白を飛ばす
            While endPos < csvTextLength AndAlso _
                csvText.Chars(endPos) <> ","c AndAlso _
                csvText.Chars(endPos) <> ControlChars.Lf
                endPos += 1
            End While
        Else
            '"で囲まれていない
            'カンマか改行の位置
            endPos = startPos
            While endPos < csvTextLength AndAlso _
                csvText.Chars(endPos) <> ","c AndAlso _
                csvText.Chars(endPos) <> ControlChars.Lf
                endPos += 1
            End While

            '一つのフィールドを取り出す
            field = csvText.Substring(startPos, endPos - startPos)
            '後の空白を削除
            field = field.TrimEnd()
        End If

        'フィールドの追加
        csvFields.Add(field)

        '行の終了か調べる
        If endPos >= csvTextLength OrElse _
            csvText.Chars(endPos) = ControlChars.Lf Then
            '行の終了
            'レコードの追加
            csvFields.TrimToSize()
            csvRecords.Add(csvFields)
            csvFields = New System.Collections.ArrayList( _
                csvFields.Count)

            If endPos >= csvTextLength Then
                '終了
                Exit While
            End If
        End If

        '次のデータの開始位置
        startPos = endPos + 1
    End While

    csvRecords.TrimToSize()
    Return csvRecords
End Function

[C#]
/// <summary>
/// CSVをArrayListに変換
/// </summary>
/// <param name="csvText">CSVの内容が入ったString</param>
/// <returns>変換結果のArrayList</returns>
public static System.Collections.ArrayList CsvToArrayList2(string csvText)
{
    //前後の改行を削除しておく
    csvText = csvText.Trim(new char[] {'/r', '/n'});

    System.Collections.ArrayList csvRecords =
        new System.Collections.ArrayList();
    System.Collections.ArrayList csvFields =
        new System.Collections.ArrayList();

    int csvTextLength = csvText.Length;
    int startPos = 0, endPos = 0;
    string field = "";

    while (true)
    {
        //空白を飛ばす
        while (startPos < csvTextLength &&
            (csvText[startPos] == ' ' || csvText[startPos] == '/t'))
        {
            startPos++;
        }

        //データの最後の位置を取得
        if (startPos < csvTextLength && csvText[startPos] == '"')
        {
            //"で囲まれているとき
            //最後の"を探す
            endPos = startPos;
            while (true)
            {
                endPos = csvText.IndexOf('"', endPos + 1);
                if (endPos < 0)
                {
                    throw new ApplicationException("/"が不正");
                }
                //"が2つ続かない時は終了
                if (endPos + 1 == csvTextLength || csvText[endPos + 1] != '"')
                {
                    break;
                }
                //"が2つ続く
                endPos++;
            }

            //一つのフィールドを取り出す
            field = csvText.Substring(startPos, endPos - startPos + 1);
            //""を"にする
            field = field.Substring(1, field.Length - 2).Replace("/"/"", "/"");

            endPos++;
            //空白を飛ばす
            while (endPos < csvTextLength &&
                csvText[endPos] != ',' && csvText[endPos] != '/n')
            {
                endPos++;
            }
        }
        else
        {
            //"で囲まれていない
            //カンマか改行の位置
            endPos = startPos;
            while (endPos < csvTextLength &&
                csvText[endPos] != ',' && csvText[endPos] != '/n')
            {
                endPos++;
            }

            //一つのフィールドを取り出す
            field = csvText.Substring(startPos, endPos - startPos);
            //後の空白を削除
            field = field.TrimEnd();
        }

        //フィールドの追加
        csvFields.Add(field);

        //行の終了か調べる
        if (endPos >= csvTextLength || csvText[endPos] == '/n')
        {
            //行の終了
            //レコードの追加
            csvFields.TrimToSize();
            csvRecords.Add(csvFields);
            csvFields = new System.Collections.ArrayList(
                csvFields.Count);

            if (endPos >= csvTextLength)
            {
                //終了
                break;
            }
        }

        //次のデータの開始位置
        startPos = endPos + 1;
    }

    csvRecords.TrimToSize();
    return csvRecords;
}

第三者の作成したクラス

このようなコードを自分で書かなくても、すでに優秀なクラスが多く存在します。最後に、その内幾つかを以下に紹介しておきます。（上の2つが代表的なものです。）

A Fast CSV Reader
XmlCsvReader Implementation
A portable and efficient generic parser for flat files
ASC2XXX - Two classes for parsing delimited text files（正規表現を使用しているようです）

.NET Framework 2.0以降で、TextFieldParserクラスを使用する方法

.NET Framework 2.0からは、VB.NET用のクラスとして、TextFieldParserクラスが追加されました。これを使えば、CSVファイルの解析も楽になります。

以下に例を示します。文字コードを指定しているEncodingに関しては、「文字コードを指定してテキストファイルを読み込む」を参考にしてください。C#では参照に「Microsoft.VisualBasic.dll」を追加する必要があります。

[VB.NET]
Dim csvRecords As New System.Collections.ArrayList()

'CSVファイル名
Dim csvFileName As String = "C:/test.csv"

'Shift JISで読み込む
Dim tfp As New FileIO.TextFieldParser(csvFileName, _
    System.Text.Encoding.GetEncoding(932))
'フィールドが文字で区切られているとする
'デフォルトでDelimitedなので、必要なし
tfp.TextFieldType = FileIO.FieldType.Delimited
'区切り文字を,とする
tfp.Delimiters = New String() {","}
'フィールドを"で囲み、改行文字、区切り文字を含めることができるか
'デフォルトでtrueなので、必要なし
tfp.HasFieldsEnclosedInQuotes = True
'フィールドの前後からスペースを削除する
'デフォルトでtrueなので、必要なし
tfp.TrimWhiteSpace = True

While Not tfp.EndOfData
    'フィールドを読み込む
    Dim fields As String() = tfp.ReadFields()
    '保存
    csvRecords.Add(fields)
End While

'後始末
tfp.Close()

[C#]
System.Collections.ArrayList csvRecords =
    new System.Collections.ArrayList();

//CSVファイル名
string csvFileName = "C://test.csv";

//Shift JISで読み込む
Microsoft.VisualBasic.FileIO.TextFieldParser tfp =
    new Microsoft.VisualBasic.FileIO.TextFieldParser(
        csvFileName,
        System.Text.Encoding.GetEncoding(932));
//フィールドが文字で区切られているとする
//デフォルトでDelimitedなので、必要なし
tfp.TextFieldType = Microsoft.VisualBasic.FileIO.FieldType.Delimited;
//区切り文字を,とする
tfp.Delimiters = new string[] { "," };
//フィールドを"で囲み、改行文字、区切り文字を含めることができるか
//デフォルトでtrueなので、必要なし
tfp.HasFieldsEnclosedInQuotes = true;
//フィールドの前後からスペースを削除する
//デフォルトでtrueなので、必要なし
tfp.TrimWhiteSpace = true;

while (!tfp.EndOfData)
{
    //フィールドを読み込む
    string[] fields = tfp.ReadFields();
    //保存
    csvRecords.Add(fields);
}

//後始末
tfp.Close();

TextFieldParser.TrimWhiteSpaceプロパティはフィールドの前後のスペースを削除するものですが、ダブルクォートで囲まれていた場合でも、前後のスペースを削除します。また、TrimWhiteSpaceの削除するスペースは、スペース文字の他に、タブや改行文字も含まれるようです。このような点から、TextFieldParserクラスを使って先に示したルールに基づいた解析は、無理のようです。（RFC4180に基づくならば、TrimWhiteSpaceをfalseにすればよいかもしれませんが。）