![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Mapreduce
ITboy-Bear
这个作者很懒,什么都没留下…
展开
-
自定义实现mapreduce计算的value类型
通过实现org.apache.hadoop.io.Writable接口定义一个自定义的Writable类型,来实现mapreduce计算的自定义value类型,原创 2016-04-02 11:42:20 · 2511 阅读 · 0 评论 -
自定义实现Mapreduce计算的key类型
1. 在进行mapreduce编程时key键往往用于分组或排序,当我们在进行这些操作时Hadoop内置的key键数据类型不能满足需求时, 或针对用例优化自定义数据类型可能执行的更好。因此可以通过实现org.apache.hadoop.io.WritableComparable接口定义一个 自定义的WritableComparable类型,并使其作为mapreduce计算的key类型。原创 2016-04-09 11:55:46 · 5514 阅读 · 2 评论 -
WordCount单词计数详解
Mapreduce编程WordCount单词计数的详解原创 2016-03-28 10:06:46 · 2104 阅读 · 0 评论 -
MapReduce发生Permission denied: user=zhen, access=WRITE错误
一.错误介绍. 在进行mapreduce编程时,利用MapReduce程序处理上传至hdfs文件系统下的数据文档时,由于传入的数据文档的权限为644,无 法满足supergroup的755权限要求,所以会出现错误。如下 二.修改方法。 修改配置文件中的设置,找到hdfs-site.xml配置问文件。 在文件中添加如下配置关闭hdfs文件系统权限检原创 2016-01-19 18:34:49 · 556 阅读 · 0 评论