2017年12月_YancyChang

12月 11月 10月 09月 08月 07月 04月 03月 02月

转载 Sqoop详解

2017-12-20 22:34:52 446

转载 Hadoop数据传输工具sqoop

概述 sqoop是Apache顶级项目，主要用来在Hadoop和关系数据库中传递数据。通过sqoop，我们可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库。 sqoop架构： sqoop架构非常简单，其整合了Hive、Hbase和Oozie，通过map-reduce任务来传输数据，从而提供并发特性和容错。 sqoop的进一步发展可

2017-12-20 22:32:32 359

转载 Spark的算子的分类

Spark的算子的分类　　　从大方向来说，Spark 算子大致可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。　　　　　Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。 ...

2017-12-15 22:48:13 808

转载 Spark函数详解系列之RDD基本转换

摘要： RDD：弹性分布式数据集，是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作，一个RDD代表一个分区里的数据集 RDD有两种操作算子： Transformation（转换）：Transformation属于延迟计算，当一个RDD转换成另一个RDD时并没有立即进行转换，仅仅是记住了数据集的逻辑操作 Ation...

2017-12-15 22:44:09 2675