【DeepDive Tutorial 】Extracting mentions of spouses from the news

一、数据处理
1.1、 Loading raw input data

• 下载数据

//将数据下载到 /input 文件夹下
bash <(curl -fsSL git.io/getdeepdive) spouse_example

// 或者使用如下指令下载
bash deepdive load articles input/articles-1000.tsv.bz2

• 为这些数据在 app.ddlog 声明一个表格

articles(
    id      text,
    content text
).

• using the input/articles.tsv.sh script， 运行，创建表，然后获取和加载数据，将input文件中的对应的文件导入postgresql数据库中

//建立链接（第一个参数为数据文件）
ln -s articles-1000.tsv.bz2 input/articles.tsv.bz2

// 执行脚本，同时会下载 Stanford's CoreNLP 
deepdive do articles

// 查看是否导入成功，该指令会显示所匹配的字段
deepdive query '?- articles(id, _).'

1.2. Adding NLP markups
使用 Stanford’s CoreNLP 进行归一化词形、词性标注、命名实体识别、依存句法分析等工作。

• 现在来声明 output schema 结构 。

// In DDlog // ----------------------------- sentences(
    doc_id         text,
    sentence_index int,
    sentence_text  text,
    tokens         text[],
    lemmas         text[],
    pos_tags       text[],
    ner_tags       text[],
    doc_offsets    int[],
    dep_types      text[],
    dep_tokens     int[] ).

• 使用 nlp_markup.sh 来调用封装好的 CoreNLP，CoreNLP 库 需要Java 8 支持。

# In DDlog
#-----------------------------
function nlp_markup over (
        doc_id  text,
        content text
    ) returns rows like sentences
    implementation "udf/nlp_markup.sh" handles tsv lines.

• 最后，指定 nlp_markup 函数在文章中的每一行都运行，并将输出的追加到 sentences 中

// In DDlog
// -----------------------------
sentences += nlp_markup(doc_id, content) :-
    articles(doc_id, content).

• Again, to execute, we compile and then run （每当 DDlog 内容被改变，都要重新编译）:

deepdive compile

deepdive do sentences 

• 此时进行查看，将有 tokens and NER tags

deepdive query '
    doc_id, index, tokens, ner_tags | 5
    ?- sentences(doc_id, index, text, tokens, lemmas, pos_tags, ner_tags, _, _, _).
'