大数据开发工具-storm-spark-hadhoop-hive
文章目录1.hadhoop2.hive2.1 sqoop3.storm4.spark
解决大数据处理相关的问题,往往要经过
数据收集(Flume、Kafka、Sqoop)、
数据存储(HDFS、HBase)、
资源管理(YARN)、
计算(MapReduce、Spark)、
数据分析(Pandas、NumPy、R)、
数据可视化(Echart、Tableau)等环节。
各个环节都有其相应的工具,
Hadoop和Spark就是大数据处理流程中非常常用的两个框架。
1.hadhoop
Hadoop是一个开源的
原创
2020-06-10 01:25:45 ·
343 阅读 ·
0 评论