MapReduce
关注
分享
扫一扫
文章平均质量分 60
MR每次计算的中间结果写入到临时文件，下一轮计算在读取文件，直到结束。可以读取文件、数据库。写入到文件和数据库中。
swg321321
这个作者很懒，什么都没留下…
展开
-
MapReduce读取定长文件入库Hive表Orc格式
MapReduce，读取定长文件，并转换为Orc数据格式，并写入到Hiive表中，创建分区并指定分区的文件。其中包含Orc格式定义和Orc文件写入数据。原创 2022-08-18 21:48:52 · 602 阅读 · 0 评论 -
Orc文件格式定义和数据写入
大数据平台使用ORC文件，中定义ORC文件格式，和数据写入示例。其中包含List，MAP，STRUCT，DECIMAL等格式。一般作为Hive数据存储的格式。原创 2022-07-19 21:27:43 · 897 阅读 · 0 评论 -
MapReduce原理与机制
MapReduce原理与机制、MapReduce组件与组件是如何相互调用原创 2022-06-26 10:04:29 · 819 阅读 · 0 评论 -
Parquet文件格式定义和数据写入
Parquet数据格式定义和写入：基础数据类型、Group数据类型。Decimal、List、Map、Struct。原创 2022-06-22 16:58:22 · 2753 阅读 · 0 评论 -
MapReduce读定长文件写入Parquet文件
MapReduce：读取定长文件，输出Parquet文件。定义Parquet文件格式。写入Parquet数据定义。包含格式Decimal、List，Struct、Map格式定义和数据写入原创 2022-06-19 15:35:28 · 452 阅读 · 0 评论