大数据是互联网上海量的数据挖掘,而数据挖掘更多的是针对企业内部的小数据挖掘,数据分析是进行有针对性的分析和诊断,大数据需要分析的是趋势和发展趋势,数据挖掘主要是发现问题和诊断。
数据挖掘流程包含哪些步骤
一、数据的产生
很多时候我们会发现在浏览网站或者app时总会给我们推荐一些与我们相关的信息,这其实就是根据我们的互联网行为来进行预测的,前端获取到用户的行为数据,传输到后端,然后存储到服务器上,具体行为如下:
浏览网页时或者app时,你的点击和停留行为都会被服务器所记录,终存储到数据库上
浏览购物app时,你的订单,添加购物车,收藏,关注等行为
浏览快手,抖音等洗脑app时,你的关注,停留,评论,点赞,转发等行为都会被记录在服务器上
二、数据预处理
预处理就是提前处理一下,当把数据从源中读取出来之后,我们可能会发现有些数据不符合我们的要求,比如有缺失值或者异常值(年龄为0),我们的处理可能是删除,也可能是填充,我们把这些脏数据整理成干净的数据。除此之外,我们可能还需要进行数据的变换,把原始数据转化成符合模型要求的数据。
三、数据建模
数据清洗完了之后,进行可视化展示,然后我们使用一条线去拟合这些点,这条线就是一个函数,有了这个函数我们就可以进行预测,这个函数就是一个模型,