data mining和web crawler是两个不同范畴的事情。 data mining是信息提取,指的是用各种数据处理和学习方法,在数据中找规律,总结出人们需要的有用信息。它强调的是处理噪声,表示的是一种研究方法。而web crawler指的是脚本工具,指的是通过各种脚本来截取网页上的内容,本质是一种数据收集工具。
比如在我的文章中Context-specific grounding of web natural descriptions to human-centered situations[PDF] 和Web-video-mining-supported workflow modeling for robotic surgeries[PDF], 前者在wikihow上机器人学会帮人做事,后者是在youtube上机器人学会做手术。找到训练样本如对应的文本和视频,这叫web crawler;而在文本和视频中,学习做事的流程和逻辑,这叫做data mining.
再具体点就是,比如说context 这篇文章里,
data mining是指这整个方法
data mining的结果是人为中心的活动场景
而web crawler只是指的从webpage提取文本文件的过程,诸如下红色方框里的内容
结果是文本corpus
希望把问题说清楚了,欢迎进一步的讨论。有兴趣可以关注我的研究主页 Rui Liu - Robot Knowledge,很大一部分research是研究怎么样信息获取。