Data Mining with Big Data--阅读笔记

• 论文来源：2017 11th International Conference on Intelligent Systems and Control (ISCO)
• 论文链接：http://ieeexplore.ieee.org/document/6547630/?arnumber=6547630

abstract

大数据是指更高速度和更高品种的数据流，有效处理大量数据集的能力已成为广泛的科学和其他学科的组成部分。支持大数据采集所需的基础设施必须在捕获数据和执行简单查询时提供低可预测的延迟。这要求数据结构和语义的差异以计算机可理解的形式表达，然后以“机器人”方式表达。在数据集成，映射和转换方面有着强大的工作。然而，需要大量额外的工作才能实现自动无差错差分解决方案。本文提出了一个关于使用大数据的数据挖掘最新研究的框架。

Introduction

• 在信息技术世界中，有效处理大量数据集的能力已成为广泛的科学和其他学科的组成部分。
• 大数据被广泛的定义为由几百万人产生的数千万甚至数亿条的有效信息记录，并存储在整个网络的无数来源中。
• 大数据使科学家能够克服与小数据样本相关的问题，包括放宽理论模型假设，避免过载拟合模型来训练数据，更好地处理噪声数据，并提供足够的测试数据来验证模型。

Big Data