[论文阅读笔记35]RobotReviewer

1. 题目

RobotReviewer: evaluation of a system for automatically assessing bias in clinical trials
RobotReviewer: 在临床试验中自动评估偏差系统的评估

2. 作者

Iain J Marshall：英国伦敦国王学院初级保健和公共卫生科学系
Joe¨l Kuiper：荷兰格罗宁根大学医学中心
美国德克萨斯大学奥斯汀分校，奥斯汀分校信息学院
PUBLISHED ONLINE FIRST 22 June 2015

3. 摘要

目标：开发与评价一个临床实验的自动评估偏倚机器学习系统RobotReviewer; 从输入的PDF实验报告，系统应该可以决定Rob的偏差风险，并可以抽取支持文本。
方法：标注了CDSR的12,808篇实验报告，对于每个领域的试尝标注为low,high,unclear，判断是否标注句子；这些数据集被使用去训练多任务机器模型。通过机器判断与人判断作比较.
结果：
CDSR文本数据：top3的结果：60.4% ML text rated ‘highly relevant’ v 56.5% of text from reviews；
RoB模型：(overall accuracy 71.0% with ML v 78.3% with CDSR；

结论：虽然结果跟人工做的差不多，可是这个技术对大大减少了reviewer的工作量。

关键词：systematic review, data mining, natural language processing, randomized controlled trials as topic, bias

4. 背景与意义

研究人员在看论文花太多的时间了，要解放人工劳动力，所以想到开发一个工具，这个工具包括了ML，从建模risks of bias；及identifying text supporting these judgments。
然后，做出来之后，这个工具RobotReviewer与人进行比较。

5. 方法

ML任务：
第一个，分类任务；
第二个，数据抽取任务；
自动标注临床试验语料：
第一步，Trial Linkage — 链接;
第二步，Pre-processing of CDSR Data – 预处理数据；
第三步，Labeling PDFs Using Distant Supervision – 使用远程监督来标注PDFs;
Task1：(document annotation)–标记为“low”,“high/unclear”，表示低偏差风险与高风险。
Task2：(sentence annotation)
第四步，Machine-Learning Approach – 机器学习方法–多任务
变种SVM + 句子抽取形成多任务来处理
评价：两个创新性模块-一个是把支持偏差评估风险的句子中的特征加入到预测Rob文档级模型中；另一个对于句子级与文档级预测，这里结合了所有领域的Rob；

6.源码分析

6.1 运行环境
依赖的环境有点多呀！！
linux的环境：

software-properties-common
aria2
curl
openssl
ca-certificates
unzip
openjdk-8-jdk-headless
maven
libxml2
wget
libsm6
libxrender1
libfontconfig1
git
rabbitmq-server
sudo
gradle

node.js
Gradle : https://services.gradle.org/distributions/gradle-4.10.2-bin.zip
grobid : https://github.com/kermitt2/grobid/archive/0.5.1.zip
Anaconda: https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
nltk: – 下载都很慢咯

python -m spacy download en
python -m nltk.downloader punkt stopwords

rabbitmq:信息队列
SciBERT：
wget https://s3-us-west-2.amazonaws.com/ai2-s2-research/scibert/tensorflow_models/scibert_scivocab_uncased.tar.gz – 这个东西有迅雷下载比较快。

7.总结

里面的术语比较多，重在代码实践上。

相关知识点：

Cochrane Database:
https://www.cochranelibrary.com/

PDF转Text工具：
xPDF, Open Source PDF viewer [website], http://www.foolabs.com/xpdf/
Accessed January 2015.
https://blog.csdn.net/ld326/article/details/117183669