数据分析主要由三个部分组成:
1、数据采集:针对自学者来说,数据采集是学习数据分析时最开始要学习的内容,只有在获取一定的数据的情况下,才有足够的样本进行分析,但由于本人日常工作中会接触到大量的数据,因此在这里不详细介绍,主要介绍一个java语言开发的数据采集常用的框架,:webmagic ,它具有简单、灵活、模块化、易维护的特点,官网地址:http://webmagic.io/,下面有一个简单爬取cdsn中论坛问答模块信息的示例:https://github.com/kingcjx/webmagic-csdnbolg.git。
2、数据挖掘:一提到数据挖掘,可能大多数人想到就是算法,模型,但其实数据挖掘除了选取合适的算法之外还有数据清洗、加工的数据准备工作,数据质量的好坏会在很大程度上影响着数据模型跑出来的结果,后续的博客中将持续更新介绍:聚类、线性回归、逻辑回归、SVM支持向量机、贝叶斯、神经网络、xgboost、lightGBM等常用算法的优劣对比、使用场景和使用方法。
3、数据结果可视化:有了数据准备、数据挖掘和模型分析后,我们可以获取到相应的结果数据,但是这样的数据需要进行可视化处理后交付给业务使用,要做到让业务人员一目了然的查看数据并理解数据。这里介绍一款十分好用的数据可视化工具tableau,链接如下:https://www.tableau.com/,这款工具采用拖放的方式将数据以各类图表的形式进行展示,支持雷达、散点、树状、盒须、甘特、直方图等图表类型。