康奈尔大学的电影对白语料库介绍 --Cornell Movie-Dialogs Corpus

这个公开的资源被很多和自然语言处理NLP相关的开源代码和论文提到，

所以仔细阅读了readme，并记录相关要点

所有文件以" +++$+++ "分隔符

- movie_titles_metadata.txt
    - 包含每部电影标题信息
    - fields:
        - movieID,
        - movie title,
        - movie year,
           - IMDB rating,
        - no. IMDB votes,
         - genres in the format ['genre1','genre2',?'genreN']

- movie_characters_metadata.txt
    - 包含每部电影角色信息
    - fields:
        - characterID
        - character name
        - movieID
        - movie title
        - gender ("?" for unlabeled cases)
        - position in credits ("?" for unlabeled cases)

关键是下面两个文件，一个包含了所有文本，一个包含了文本之间的关系

- movie_lines.txt
    - 包含每个表达(utterance)的实际文本
    - fields:
        - lineID
        - characterID (who uttered this phrase)
        - movieID
        - character name
        - text of the utterance

前面5个样本:

L1045 +++$+++ u0 +++$+++ m0 +++$+++ BIANCA +++$+++ They do not!
L1044 +++$+++ u2 +++$+++ m0 +++$+++ CAMERON +++$+++ They do to!
L985 +++$+++ u0 +++$+++ m0 +++$+++ BIANCA +++$+++ I hope so.
L984 +++$+++ u2 +++$+++ m0 +++$+++ CAMERON +++$+++ She okay?
L925 +++$+++ u0 +++$+++ m0 +++$+++ BIANCA +++$+++ Let's go.

- movie_conversations.txt
    - 对话的结构-
    - fields
        - characterID of the first character involved in the conversation 对话中的第一个角色的ID

        - characterID of the second character involved in the conversation 对话中的第二个角色的ID

        - movieID of the movie in which the conversation occurred  对话所属电影的ID

        - list of the utterances that make the conversation, in chronological
            order: ['lineID1','lineID2',?'lineIDN']
            has to be matched with movie_lines.txt to reconstruct the actual content

            对话中以时间顺序的各个表达的列表，

           order: ['lineID1','lineID2',?'lineIDN']必须和movie_lines.txt匹配以便于重构实际内容

前面5个样本:

u0 +++$+++ u2 +++$+++ m0 +++$+++ ['L194', 'L195', 'L196', 'L197']
u0 +++$+++ u2 +++$+++ m0 +++$+++ ['L198', 'L199']
u0 +++$+++ u2 +++$+++ m0 +++$+++ ['L200', 'L201', 'L202', 'L203']
u0 +++$+++ u2 +++$+++ m0 +++$+++ ['L204', 'L205', 'L206']
u0 +++$+++ u2 +++$+++ m0 +++$+++ ['L207', 'L208']

- raw_script_urls.txt
    -原始来源的url( the urls from which the raw sources were retrieved)

来源:

http://www.cs.cornell.edu/~cristian/Cornell_Movie-Dialogs_Corpus.html