hadoop
MaloFleur
这个作者很懒,什么都没留下…
展开
-
玄学hadoop(二)之自定义数据类型作为Key值 或 Value值
在hadoop中,已将很多的Writable类封装归入org.apache.hadoop.io包中,具体继承关系如下(图片转自https://www.cnblogs.com/wuyudong/p/hadoop-writable.html): 当然还有一些类似VectorWritable、IntPairWritable等类被封装在了mahout中,有需要的可以自行搜索下载,或底下评论,...原创 2018-06-23 19:01:45 · 2121 阅读 · 0 评论 -
玄学hadoop(一)之配置环境踩的坑
背景: win10 + vmware14 + centos7 + jdk1.8 + hadoop2.7.3 前期的配置过程不说了,网上有很多对应的教程,建议别下载太新的jdk和hadoop,以后跑实例的时候可能会不方便,因此这里采用jdk1.8和hadoop2.7.3,版本在配置环境的时候应该都大同小异 这篇日志的过程很详细,我基本是按照这里配的: https://blog.csdn...原创 2018-06-05 12:19:09 · 496 阅读 · 0 评论 -
玄学hadoop(三)之MapWritable的使用
刚接触hadoop不久,最近需要用到MapWritable,但直接使用后,在part-r-00000中的输出结果类似为(以下结果摘自https://blog.csdn.net/jiyuanyi1992/article/details/37739413 ,因自己的代码已修改+覆盖):key1 org.apache.hadoop.io.MapWritable@396cbd97 ...原创 2018-06-23 19:26:46 · 3169 阅读 · 0 评论