blackmmu的博客

Spark 基础及RDD基本操作spark的优势首先，Hadoop这项大数据处理技术大概已有十年历史，而且被看做是首选的大数据集合处理的解决方案。MapReduce是一路计算的优秀解决方案，不过对于需要多路计算和算法的用例来说，并非十分高效。数据处理流程中的每一步都需要一个Map阶段和一个Reduce阶段，而且如果要利用这一解决方案，需要将所有用例都转换成MapReduce模式。在下一步开始之前，上

互联网大数据框架介绍（二）Hive，HBase继续上一节的hadoop，HDFS，yarn，MapReduce。这节继续想下讲，将数据仓库Hive，和大数据的数据库HBaseHive首先，我们要明确什么是Hive，Hive是构建于Hadoop的HDFS和MapReduce上，的用于管理和查询结构化/非结构化数据的数据仓库。Hive分别有三个部分组成： 1）使用HQL作为查询接口 2）使用HDFS

互联网大数据框架介绍（一）Hadoop，HDFS，yarn，Mapreduce如下图，这是现在流行的大数据技术线路图，也是最近才学习大数据的课程，所以对以下几个方面，hadoop，HDFS，yarn，Hbase，Mapreduce，Spark，Spark Streaming，Hive，Sqoop，这几个方面从数据存储到ETL这些核心部分进行介绍，。第一部分：hadoop首先，什么是hadoop：