源码获取:https://www.bilibili.com/video/BV1Ne4y1g7dC/
随着信息时代的发展,信息量呈几何级数增长,然而用于对这些数据进行分析处理的工具却很少,人们拥有了海量的数据的同时却苦于信息的缺乏。而激增的数据背后隐藏着许多重要的信息,人们希望能够对其进行更高层次的分析,以便更好地利用这些数据。目前的数据库系统可以高效地实现数据的录入、查询、统计等功能,但无法发现数据中存在的关系和规则,无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段,导致了“数据爆炸但知识贫乏”的现象。信息爆炸是一把双刃剑:巨量的信息既是最重要的财富,又是最危险的杀手。巨量信息也导致决策与理解危机。面对“人人被数据淹没,人们却饥饿于知识”的挑战,爬虫技术的数据可视化和知识发现技术应运而生,并得以蓬勃发展,越来越显示出其强大的生命力。