Hadoop的数据类型

于 2021-01-04 17:59:10 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： 大数据Hadoop技术 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dudadudadd/article/details/112191035
版权

Hadoop有自己的数据类型，这是因为MapReduce是基于磁盘的计算框架，会产生大量的磁盘IO，从而产生大量的系列化、反系列化操作，而JAVA自带的Serializable是一个繁杂的完整框架，直接使用它对本就耗费资源的MR来说无疑是雪上加霜，因此Hadoop有着自己的数据类型，分为内建类型和用户自定义类型

一、内建类型
BooleanWritable:标准布尔型数值
ByteWritable:单字节数值
DoubleWritable:双字节数值
FloatWritable:浮点数
IntWritable:整型数
LongWritable:长整型数
Text:使用UTF8格式存储的文本
NullWritable:当<key, value>中的key或value为空时使用

二、用户自定义
实现WritalbeComparable或Writalbe接口即可
但是注意，如果你的自定义类型是要放在value上那么两个接口实现那个都行，但是如果你要放在key上那么必须实现WritalbeComparable，不然MR分组排序会因为没有比较方法而报错，同时这也是多级排序的实现方法

尘世壹俗人
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop:Hadoop编程
04-29
Hadoop 伙计们， 在这里，您将找到一些MapReduce示例程序来处理不同类型的文件，例如Text，PDF，CSV，Log，XML，Doc / Docx，XLS / XLSX等。 您还可以找到一个可以读取上面指定的任何文件类型的程序。 您还可以找到如何在Map Reduce中编写自定义数据类型和自定义分区程序。 #trendfinder文件夹：在Trendfinder文件夹中，您将发现如何使用多个Mappers和Reducers。 在这里，我们根据推文的出现来处理推特数据。 #logfiles文件夹：它包含一个程序，用于计算特定网站上每小时的观看次数。 #pdf文件夹：它包含如何在hadoop中编写我们自己的Custome FileInPutFormat，RecordReader类以处理PDF文件。 #Java到HDFS的连接在此软件包中，您将找到如何从Java连接到HD
Hadoop之租房数据分析系统
08-11
2、数据分析：基于MapReduce计算框架进行数据分析，分析维度包括：租房类型分析、各小区租房数量分析、各小区租房均价、租房价格范围分析、居室类型分析等 3、数据可视化：Python+Flask+echarts+MySQL可视化
Hadoop 自定义数据类型实例
博海软件
11-23 162
一、来自 hadoop in action 上的实例，我在这里做了一个总结。文件内容如下： 17:16:20 http://blackproof.iteye.com/blog/1806263 17:16:21 http://blackproof.iteye.com/blog/1806264 17:16:56 http://blackproof.iteye.com/blog/1806265 ...
Hadoop数据类型
Howie Lee的博客
08-10 827
一. Hadoop内置的数据类型BooleanWritable:标准布尔型数值 ByteWritable:单字节数值 DoubleWritable:双字节数值 FloatWritable:浮点数 IntWritable:整型数 LongWritable:长整型数 Text:使用UTF8格式存储的文本 NullWritable:当<key, value>中的key或value为空时使用 二. 用户自
Hadoop生态hive（四）数据类型
茅坤宝骏氹的博客
11-16 516
一、原始类型 类型 描述 字面量示例 BOOLEAN true/false TRUE TINYINT 1字节的有符号整数 -128~127 10 MALLINT 2个字节的有符号整数，-32768~32767 20000 INT 4个字节的带符号整数 1000000 BIGINT 8字节带符号整数 13L...
hadopp（一）Mapreduce内置数据类型
weixin_41850738的博客
08-19 539
一、Mapreducer内置数据类型 hadoop内置数据类型 主要有：（1）BooleanWritable：标准布尔型数值 （2）ByteWritable：单字数值 （3）DoubleWritable：双字节数 （4）FloatWritable 浮点数 ...
Hadoop提供的数据类型汇总
东城庞太师
01-13 1270
Hadoop 提供的数据类型有很多种，使用这些类型定义的数据可以被序列化进而进行网络传输和文件存储，及大小比较等。 Text：使用UTF8格式存储的文本 ByteWritable：单字节数值 DoubleWritable：双字节数 FloatWritable：浮点数 IntWritable：整型数 LongWritable：长整型数 BooleanWritable：标准...
Hadoop的内置的基本数据类型
小哇
08-13 1585
hadoop是不认识java常用的数据类型的 但是有与之对应的数据类型：BooleanWritable:标准布尔型数值ByteWritable:单字节数值DoubleWritable:双字节数值FloatWritable:浮点数IntWritable:整型数LongWritable:长整型数Text:使用UTF8格式存储的文本NullWritable:当<key, value>中的key或value为空时使用 Hadoop使用派生于Writable接口的类作为MapReduce计算的数据类型，这
hadoop自带的writable类型
04-17 403
Hadoop 中，并没有使用Java自带的基本类型类(Integer、Float等)，而是使用自己开发的类。Hadoop 自带有很多序列化类型，大致分为以下两种： 实现了WritableComparable接口的类 　　基础：BooleanWritable | ByteWritable 　　数字：IntWritable | VIntWritable | FloatW...
基于Hadoop豆瓣电影数据分析实验报告
06-16
针对本次实验，我们需要用到Hadoop集群作为模拟大数据的分析软件，集群环境必须要包括，hdfs，hbase，hive，flume，sqoop等插件，最后结合分析出来的数据进行可视化展示，需要用到Python（爬取数据集，可视化展示）...
大数据 Hadoop 框架
最新发布
03-22
随着大数据的兴起，各种新的非结构化数据类型不断涌现，例如文本、音频和视频等等，它们需要经过额外的预处理操作才能真正提供洞察和支持性元数据。 Hadoop 是用于处理大数据的工具之一。Hadoop 和其他软件产品通过...
MapReduce模型--自定义数据类型
05-28
通过自定义数据类型，可以使用Hadoop处理单表数据查询以及多表相互关联的应用场景。
Hadoop的数据类型和自定义Hadoop数据类型
m0_43437949的博客
04-19 1482
Hadoop的数据类型 在学习了Hadoop的基本架构以后,就可以试着编写Map和Reduce的来处理数据 但是,编写之前我们需要来了解一下Hadoop的基本数据类型 1. 为什么Hadoop有自己的数据类型   hadoop由各个节点构成一个集群，分布式储存就要考虑到数据在节点之间来回传递的问题。为了解决这一问题，hadoop采用了java中的序列化和反序列化概念1。在Hadoop中，位...
Hadoop学习（5）——Hive SQL(2)语法
RuiKe的博客
07-03 491
一、基础命令 1.1、数据库操作 　　show databases; # 查看某个数据库 　　use 数据库; # 进入某个数据库 　　show tables; # 展示所有表 　　desc 表名; # 显示表结构 　　show partitions 表名; # 显示表名分区 　　show create table_name; # 显示创建表的结构 1.2、表结构修改 　　use xxdb; create table xxx; # 内部表 　　create table xxx like xxx;
Hadoop之——数据类型
kevin_xiang的专栏
09-19 512
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46039055 一.  Hadoop内置的数据类型 BooleanWritable:标准布尔型数值ByteWritable:单字节数值DoubleWritable:双字节数值FloatWritable:浮点数IntWritable:整型数LongWritable:长整型
Hadoop 数据类型
weixin_33670713的博客
10-30 153
2019独角兽企业重金招聘Python工程师标准>>> ...
如果使用DBOutputFormat作为Hadoop中程序的输出到数据库系统，应该实现DBWritable接口，DBWritable相当于写出到数据库的Hadoop数据类型 A 对 B 错
06-03
A 对。DBWritable接口是Hadoop中的一个接口，用于将Hadoop中的数据类型转换为数据库中的数据类型。使用DBOutputFormat作为Hadoop中的输出到数据库系统时，需要实现DBWritable接口，将Hadoop中的数据类型转换为数据库中的数据类型，然后将其写入数据库中。因此，DBWritable接口是DBOutputFormat的输出数据类型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值