说点题外话,大数据和人工智能
首先是大数据,从概念上说,大数据≈数据挖掘+数据分析。数据挖掘就是通过算法对大量业务数据(数据库、日志文件等等)进行挖掘,获取隐藏在大量业务数据中的潜在的价值、规律等等信息;数据分析就是基于数据挖掘到的信息,对其进行统计和营销分析,得出分析结论。数据分析更侧重于人工建模得出分析结论,而数据挖掘侧重于通过机器学习算法获取信息。数据挖掘得到的是模糊信息,数据分析得到的是精确结论。数据分析和数据挖掘大多使用Python或R语言进行工作(当然也可以使用java)。在进行数据挖掘时,如果大量业务数据分布在不同机器上,就要用到Hadoop或Spark进行辅助。
人工智能的子集有机器学习,机器学习的子集有深度学习。
两者关系:
- 机器学习和深度学习只是一种方法,而数据挖掘和数据分析是一件事
- 数据挖掘一般通过机器学习或深度学习算法获取信息