2020-09-23

作业二
1、机器学习与深度挖掘的区别
（1）数据挖掘：也就是data mining，是一个很宽泛的概念。字面意思就是从成吨的数据里面挖掘有用的信息。这个工作BI（商业智能）可以做，数据分析可以做，甚至市场运营也可以做。你用excel分析分析数据，发现了一些有用的信息，然后这些信息可以指导你的business，恭喜你，你已经会数据挖掘了。
（2）机器学习：machine learning，是计算机科学和统计学的交叉学科，基本目标是学习一个x->y的函数（映射），来做分类或者回归的工作。之所以经常和数据挖掘合在一起讲是因为现在好多数据挖掘的工作是通过机器学习提供的算法工具实现的，例如广告的ctr预估，PB级别的点击日志在通过典型的机器学习流程可以得到一个预估模型，从而提高互联网广告的点击率和回报率；个性化推荐，还是通过机器学习的一些算法分析平台上的各种购买，浏览和收藏日志，得到一个推荐模型，来预测你喜欢的商品。
（3）深度学习：deep learning，机器学习里面现在比较火的一个topic（大坑），本身是神经网络算法的衍生，在图像，语音等富媒体的分类和识别上取得了非常好的效果，所以各大研究机构和公司都投入了大量的人力做相关的研究和开发。
数据挖掘是个很宽泛的概念，数据挖掘常用方法大多来自于机器学习这门学科，深度学习是机器学习一类比较火的算法，本质上还是原来的神经网络。

2、大数据处理系统的分类，举例说明区别
数据处理系统
数据体量巨大，数据精确度高，数据价值密度低。
流数据处理系统
流式数据的元组通常带有时间标签或其余含序属性，数据流中的数据格式可以是结构化的、半结构化的甚至是无结构化的。
交互数据处理系统
交互式数据处理灵活、直观、便于控制。
图数据处理系统
节点之间的关联性，图数据的种类繁多，图数据计算的强耦合性。

3、大数据处理的基本流程
数据采集
数据预处理
数据入库
数据分析
数据展现