hive spark等

hive是基于hdfs的一个数据库工具

 

可以类比为 mysql 是基于本地文件系统的数据库， hive则是基于hdfs的数据库，不太准确

spark 对应于mapreduce， 但是更快，本来spark是单独于hadoop生态的，但是hadoop太强大了， spark 渐渐的基于hadoop发展了， 

spark的运行模式多样：Spark可运行于独立的集群模式中，或者运行于Hadoop中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源。

我们的主要用法是

用scala 编写程序， 编译成jar包， 上传afs， 然后运行spark， 读取afs，写入hive表 nginxlog， 之后的分析，都基于这个hive表， 查询hive表， 一般用hive， 当然也可以用spark-sql