Hadoop的内置的基本数据类型

最新推荐文章于 2022-09-12 17:50:12 发布
最新推荐文章于 2022-09-12 17:50:12 发布
阅读量1.5k 收藏 2
点赞数 1
分类专栏： # hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41712271/article/details/107976981
版权

hadoop是不认识java常用的数据类型的 但是有与之对应的数据类型：
BooleanWritable:标准布尔型数值
ByteWritable:单字节数值
DoubleWritable:双字节数值
FloatWritable:浮点数
IntWritable:整型数
LongWritable:长整型数
Text:使用UTF8格式存储的文本
NullWritable:当<key, value>中的key或value为空时使用

Hadoop使用派生于Writable接口的类作为MapReduce计算的数据类型，这些数据类型用于整个MapReduce计算流的数据吞吐过程，这个过程从读取输入数据开始，到传输map和reduce任务之间的中间数据，一直到最后写入输出数据为止；为输入数据、中间数据和输出数据选择合适的Writable数据类型面对MapReduce程序的可编程性和性能有很大的影响

为了用作MapReduce计算的value数据类型，数据类型必须实现org.apache.hadoop.io.Writable接口；Writable接口定义了当需要数据传输和数据存储时，Hadoop应该如何序列化和反序列化

为了用作MapReduce计算的key数据类型，数据类型必须实现org.apache.hadoop.io.WritableComparable<T>接口，除了Writable接口的功能之外，有一种WritableComparable接口更进一步定义了如何将这种类型的键相互比较，以达到排序的目的

小哇666
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
07.hive内置函数--类型转换cast--数学运算函数.mp4
04-29
07.hive内置函数--类型转换cast--数学运算函数.mp4
Hadoop 自定义数据类型实例
博海软件
11-23 162
一、来自 hadoop in action 上的实例，我在这里做了一个总结。文件内容如下： 17:16:20 http://blackproof.iteye.com/blog/1806263 17:16:21 http://blackproof.iteye.com/blog/1806264 17:16:56 http://blackproof.iteye.com/blog/1806265 ...
Hadoop数据类型
weixin_30474613的博客
07-25 82
...
Hadoop的数据类型
别人笑我太疯癫，我笑他人看不穿。
01-04 1446
Hadoop有自己的数据类型，这是因为MapReduce是基于磁盘的计算框架，会产生大量的磁盘IO，从而产生大量的系列化、反系列化操作，而JAVA自带的Serializable是一个繁杂的完整框架，直接使用它对本就耗费资源的MR来说无疑是雪上加霜，因此Hadoop有着自己的数据类型，分为内建类型和用户自定义类型 一、内建类型 BooleanWritable:标准布尔型数值 ByteWritable:单字节数值 DoubleWritable:双字节数值 FloatWritable:浮点数 IntWritabl
Hadoop权威指南（中文版）2015上传.rar
10-12
1.5.1 数据类型 1.5.2 操作和函数 1.6 表 1.6.1 托管表（Managed Tables）和外部表（External Tables） 1.6.2 分区（Partitions）和桶（Buckets） 1.6.3 存储格式 1.6.4 导入数据 1.6.5 表的修改 1.6.6 表的丢弃 1.7...
Hadoop硬实战 [（美）霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )
12-08
11．1．4　数据类型 11．1．5　操作符和函数 11．1．6　交互式和非交互式的Pig 11．2　使用Pig 在日志数据中发现恶意行为者 11．2．1　加载数据 技术点67　加载Apache 日志文件 11．2．2　过滤和投影 技术点68　...
Hadoop权威指南 第二版(中文版)
03-28
　1.5.1 数据类型 　1.5.2 操作和函数 　1.6 表 　1.6.1 托管表(Managed Tables)和外部表(External Tables) 　1.6.2 分区(Partitions)和桶(Buckets) 　1.6.3 存储格式 　1.6.4 导入数据 　1.6.5 表的修改 　1.6.6 表...
Hadoop之——数据类型
kevin_xiang的专栏
09-19 511
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46039055 一.  Hadoop内置的数据类型 BooleanWritable:标准布尔型数值ByteWritable:单字节数值DoubleWritable:双字节数值FloatWritable:浮点数IntWritable:整型数LongWritable:长整型
Hadoop数据类型_学习笔记
phacpf123
04-25 933
Hadoop数据类型： 课程结构图： 键/值序列化 序列化：云端键值的序列化，序列化是一个核心.它是将对象转化为字节流的方法； 其目的有： 1. 进程间通信 2. 数据持久性存储 假如说，要从A传输一个对象到B，我们必须要将这个对象转化为二进制流才可以。如果想要将云端的一个对象存到硬盘，那我们也必须要将这个对象转化为二进制流才可以进行存储。 MapReduce框架提供了一种序列化键/值的方法，没...
Hadoop 中的数据类型
小小王的博客
09-12 921
/ 将Java的int类型变量23封装成Hadoop的整形类IntWritable对象。//将Java的int类型变量23封装成Hadoop的整形类IntWritable对象。// 将Hadoop的IntWritable对象转换成int的整形数据。// 将Hadoop的Text对象转换成String的文本类型字符串。1、对于 Text 类型使用 toString() 方法进行转换。IntWritable 对应 Java 的 int。Text 对应 Java 的 String。2、通过set()进行转换。
选择合适的Hadoop数据类型
浩先生的博客
10-17 902
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
学习总结七：Hadoop的数据类型
colinmok的专栏
07-03 507
1.Hadoop的数据类型要求必须实现Writable接口。 2.java基本类型与Hadoop常见基本类型的对照 Long LongWritable Integer IntWritable Boolean BooleanWritable String Text 问：java类型如何转化为hadoop基本类型？ 答：调用hadoop类型的构造方法，或者调用set()方法。
hadoop基本数据类型
努力就是魅力
02-11 3136
hadoop基本数据类型Nullwritable:当&lt; key, value&gt;中的key或 value为空时使用Text:使用UTF8格式存储的文本LongWritable:长整型数writable:整型数Floatwritable:浮点数Doublewritab|e:双字节数值ByteWritable:单字节数值BooleanWritable:标准布尔型数值◆数据类型都实现 Writ...
hadopp（一）Mapreduce内置数据类型
weixin_41850738的博客
08-19 537
一、Mapreducer内置数据类型 hadoop内置数据类型 主要有：（1）BooleanWritable：标准布尔型数值 （2）ByteWritable：单字数值 （3）DoubleWritable：双字节数 （4）FloatWritable 浮点数 ...
Hadoop 数据类型
weixin_33670713的博客
10-30 148
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop hive 数仓的基本原理
最新发布
07-27
Hadoop Hive 是构建在 Hadoop 生态系统上的数据仓库基础设施，它提供了一种类似于 SQL 的查询语言，用于处理和分析存储在 Hadoop 分布式文件系统（HDFS）中的大规模数据。 Hive 的基本原理如下： 1. 数据存储：Hive 将数据以表的形式存储在 HDFS 上，数据可以是结构化、半结构化或非结构化的。Hive 表定义包含表的结构（例如列和数据类型）以及数据的存储位置。 2. 元数据管理：Hive 使用元数据来管理表和表之间的关系。元数据包括表的结构、分区信息、表的存储位置等。Hive 的元数据可以使用自带的 Derby 数据库或者外部数据库（如 MySQL）进行存储。 3. 查询优化与执行：Hive 提供了类似于 SQL 的查询语言 HiveQL，用户可以使用 HiveQL 编写查询语句。当用户提交查询时，Hive 会进行查询优化，生成一个逻辑执行计划，并将其转换为 MapReduce 作业或 Tez 任务来执行。 4. 数据转换与计算：Hive 支持用户定义的函数（UDF）和自定义聚合函数（UDAF），用户可以使用这些函数来进行数据转换和计算。Hive 还提供了一些内置函数，用于常见的数据操作和处理。 5. 数据分区与分桶：Hive 支持数据的分区和分桶，可以根据某个列的值将数据划分为多个分区，或者根据某个列的哈希值将数据划分为多个桶。这样可以提高查询性能和数据处理效率。 通过上述原理，Hive 提供了一种方便的方式来处理和分析大规模数据，并且能够与其他 Hadoop 生态系统工具（如Hadoop MapReduce、HBase等）进行无缝集成。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值