数据分析学习之概述

数据分析主要由三个部分组成：

    1、数据采集：针对自学者来说，数据采集是学习数据分析时最开始要学习的内容，只有在获取一定的数据的情况下，才有足够的样本进行分析，但由于本人日常工作中会接触到大量的数据，因此在这里不详细介绍，主要介绍一个java语言开发的数据采集常用的框架，：webmagic ，它具有简单、灵活、模块化、易维护的特点，官网地址：http://webmagic.io/，下面有一个简单爬取cdsn中论坛问答模块信息的示例：https://github.com/kingcjx/webmagic-csdnbolg.git。

  2、数据挖掘：一提到数据挖掘，可能大多数人想到就是算法，模型，但其实数据挖掘除了选取合适的算法之外还有数据清洗、加工的数据准备工作，数据质量的好坏会在很大程度上影响着数据模型跑出来的结果，后续的博客中将持续更新介绍：聚类、线性回归、逻辑回归、SVM支持向量机、贝叶斯、神经网络、xgboost、lightGBM等常用算法的优劣对比、使用场景和使用方法。

3、数据结果可视化：有了数据准备、数据挖掘和模型分析后，我们可以获取到相应的结果数据，但是这样的数据需要进行可视化处理后交付给业务使用，要做到让业务人员一目了然的查看数据并理解数据。这里介绍一款十分好用的数据可视化工具tableau，链接如下：https://www.tableau.com/，这款工具采用拖放的方式将数据以各类图表的形式进行展示，支持雷达、散点、树状、盒须、甘特、直方图等图表类型。