大数据开发工具-storm-spark-hadhoop-hive
文章目录1.hadhoop2.hive2.1 sqoop3.storm4.spark解决大数据处理相关的问题,往往要经过数据收集(Flume、Kafka、Sqoop)、数据存储(HDFS、HBase)、资源管理(YARN)、计算(MapReduce、Spark)、数据分析(Pandas、NumPy、R)、数据可视化(Echart、Tableau)等环节。各个环节都有其相应的工具,Hadoop和Spark就是大数据处理流程中非常常用的两个框架。1.hadhoopHadoop是一个开源的
原创
2020-06-10 01:25:45 ·
350 阅读 ·
0 评论