- 博客(3)
- 收藏
- 关注
RSS订阅原创 Hadoop中Text类型的长度
在Hadoop权威指南中，有一段代码用于检查Text类型变量的字节长度。 int firstL1=WritableUtils.decodeVIntSize(b1[s1])+readVInt(b1,s1); 根据其他博文知道Text类型变量用第1-4个字节表示这个Text对象中字符串的字节数，随后跟着的就是这个字符串的UTF8字节本身。注意Text的前1-4个字节是变长Int，因此后续的正式的...
2018-09-11 16:39:40
1224
原创 Hadoop全局排序(TotalOrderPartitioner)的若干坑点
罗列一些在使用全局排序中的一些坑点，以及解决办法。 1、因错误分区数量而无法读取分区文件 Error: java.lang.IllegalArgumentException: Can't read partitions file at org.apache.hadoop.mapreduce.lib.partition.TotalOrderPartitioner.setConf(Tot...
2018-09-09 02:20:11
1478
原创 如何配置IntelliJ IDEA环境向远端HADOOP测试集群递交Job作业。
前言 刚开始学大数据，由于是分布式环境本地开发好的程序，需要放到测试集群里的跑，来回切换上传非常麻烦，今天终于成功配置出了，在本地IDE环境中也能向测试集群递交Job，甚至获得测试集群历史作业的信息记录。故写下此文以备日后自己查询。 提示：需关闭测试集群的防火墙，或针对IntelliJ IDEA机器IP设定防火墙白名单。 本测试配置环境如下： Hadoop 2.7.4 (伪分布) on Red...
2018-09-07 23:22:45
951
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人