爬虫
爬虫这块我找了个比较符合标准的
评论:
爬取下来数据挖掘的时候进行情感分析
HDFS存储
HDFS这么想就是一个分布式的磁盘,可以随便扩容。我们的电脑磁盘都是在本地,他这个可以通过网络的连接将多台电脑的磁盘实现共用
spark处理
spark是scala写的,要是想学好首先要学习scala。
scala跟java类似,都是运行在jvm上
hive存储
支持查询语句HQL 其实跟sql写法类似。这样我们把数据弄下来之后可以通过查询获取想要的那一部分。
很符合命题人的想法
数据挖掘
神经网络算法、决策树算法、贝叶斯分类算法、基于关联规则分类算法
我们自己训练一个模型,并持久化。。。
数据可视化
总体流程