开会

爬虫

爬虫这块我找了个比较符合标准的

大众点评

评论：

爬取下来数据挖掘的时候进行情感分析

HDFS存储

HDFS这么想就是一个分布式的磁盘,可以随便扩容。我们的电脑磁盘都是在本地，他这个可以通过网络的连接将多台电脑的磁盘实现共用

spark处理

spark是scala写的,要是想学好首先要学习scala。
scala跟java类似,都是运行在jvm上

hive存储

支持查询语句HQL 其实跟sql写法类似。这样我们把数据弄下来之后可以通过查询获取想要的那一部分。

很符合命题人的想法

数据挖掘

神经网络算法、决策树算法、贝叶斯分类算法、基于关联规则分类算法

情感分析github

我们自己训练一个模型,并持久化。。。

数据可视化

总体流程